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Introducción 


EL CABALLO MÁS INTELIGENTE DEL MUNDO 


A fines del siglo x1x, Europa se encontraba embelesada por un 
caballo llamado Hans. “Clever Hans”* era una verdadera mara- 
villa: podía resolver problemas matemáticos, decir la hora, 
identificar días en el calendario, diferenciar tonos musicales y 
deletrear palabras y frases. La gente acudía en masa a ver al 
semental alemán golpeteando con el casco las respuestas a pro- 
blemas complejos y dando consistentemente las respuestas 
correctas. “¿Cuánto es dos más tres?” De manera diligente, Hans 
chocaba un casco contra el suelo cinco veces. “¿Qué día de la 
semana es?” El caballo entonces se acercaba a un tablero espe- 
cialmente diseñado y deletreaba la respuesta correcta usando 
el mismo método. Hans llegó incluso a dominar preguntas más 
complejas: “Estoy pensando en un número. Si le quito nueve, 
me quedan tres. ¿De qué número se trata?”. Para 1904, Clever 
Hans ya era famoso en el mundo entero, y The New York Times 


*“Hans el astuto”, en castellano. A pesar de que el apelativo original era 
alemán (“Hans der Kluge”), mundialmente se lo conoció con la versión en 
inglés. [N. del T] 
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promovía sus habilidades con el siguiente titular: “El maravilloso 
caballo de Berlín. ¡Solo le falta hablar!” 

El entrenador de Hans, Wilhelm von Osten —un profesor de 
matemáticas retirado—, había estado fascinado por la inteligen- 
cia animal durante mucho tiempo. Intentó sin éxito enseñarles 
a gatitos y crías de oso los números cardinales, y solo triunfó 
cuando empezó a trabajar con su propio caballo. Primero, le 
enseñó a contar sujetándole la pata, mostrándole un número y 
luego golpeteando con el casco el número correcto de veces. 
Pronto Hans fue capaz de realizar sumas simples. A continuación, 
Von Osten incorporó un pizarrón que tenía escrito el abecedario, 
de modo que el caballo pudiera hacer chocar un casco sobre un 
número para cada letra. Después de dos años de entrenamiento, 
Von Osten estaba asombrado por la capacidad del animal para 
comprender conceptos intelectuales avanzados. Así que se lo 
llevó de gira para probarle al mundo que los animales podían 
razonar. Hans se viralizó durante la Belle Époque. 

Pero había muchos escépticos, y el consejo educativo alemán 
creó una comisión de investigación para comprobar la validez 
de las declaraciones científicas hechas por Von Osten. La Comi- 
sión Hans estaba dirigida por el psicólogo y filósofo Carl Stumpf 
y su asistente Oskar Pfungst, e incluía a un director de circo, un 
profesor retirado, un zoólogo, un veterinario y un oficial de ca- 
ballería. Sin embargo, después de que interrogaran largamente 
a Hans, tanto con su entrenador presente como sin él, el caballo 
mantuvo su registro de respuestas correctas, y la comisión no 
fue capaz de encontrar evidencia alguna de fraude. Como escri- 
biría más tarde Pfungst, Hans actuó frente a “miles de espectado- 


1 Edward T. Heyn, “Berlin's Wonderful Horse; He Can Do Almost 
Everything but Talk - How He Was Taught”, en The New York Times, 4 de 
septiembre de 1904, disponible en línea: <https://timesmachine.nytimes. 
com/timesmachine/1904/09/04/101396572.pdf>. 
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Wilhelm von Osten y Clever Hans. 


res, aficionados a los caballos, entrenadores de calibre, y ninguno 
de ellos, durante el transcurso de observaciones que duraron 
muchos meses, descubrió algún tipo de señal secreta regular” 
entre el interrogador y el caballo.? 

La comisión descubrió que los métodos enseñados a Hans 
se asemejaban más a “la enseñanza en la educación básica” que 
al entrenamiento de animales, y eran “dignos de estudiarse 
científicamente”. Pero Stumpf y Pfungst todavía tenían algunas 
dudas. Un hallazgo en particular los preocupaba: cuando el mismo 
interrogador no sabía la respuesta a la pregunta que estaba for- 


2 Oskar Pfungst, Clever Hans (The Horse of Mr. von Osten). A Contribution 
to Experimental Animal and Human Psychology, trad. de Carl L. Rahn, Nueva 
York, Henry Holt, 1911, s. d. 

3“Clever Hans’ Again: Expert Commission Decides that the Horse Actu- 
ally Reasons”, en The New York Times, 2 de octubre de 1904, disponible en 
linea: <https://timesmachine.nytimes.com/timesmachine/1904/10/02/ 
120289067pd£>. 
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mulando o cuando estaba muy lejos de Hans, este rara vez acer- 
taba. Esto los llevó a considerar que quizás alguna señal invo- 
luntaria le estuviera dando las respuestas a Hans. 

Como Pfungst describió en su libro de 1911, no se equivo- 
caban: la postura del interrogador, así como su respiración y 
expresión facial, cambiaban sutilmente cuando los golpeteos de 
Hans alcanzaban. la respuesta correcta, lo que lo hacía parar 
justo en ese momento.* Pfungst probó esta hipótesis más tarde 
en sujetos humanos y confirmó sus resultados. Para él, la parte 
deslumbrante de este descubrimiento era que, por lo general, 
los interrogadores no sabían que le estaban dando pistas al caba- 
llo. La solución al enigma de Clever Hans, escribió Pfungst, eran 
las indicaciones inconscientes de los interrogadores.* El caballo 
estaba entrenado para producir los resultados que su dueño 
quería ver, pero el público se sintió estafado porque esta no era 
la inteligencia extraordinaria que se habían imaginado. 

La historia de Clever Hans es cautivante por muchos motivos: 
la relación entre el deseo, la ilusión y la acción; el negocio del 
espectáculo; la manera en que antropomorfizamos lo no humano, 
cómo emergen los sesgos y la política de la inteligencia. Hans 
inspiró un término en psicología que se usa para un tipo especial 
de trampa conceptual, el efecto Clever Hans, también llamado 
sesgo de expectativa, que describe la influencia que tienen las 
pistas involuntarias que los investigadores dan a los sujetos de 
investigación. La relación entre Hans y Von Osten tiene que ver 
con los complejos mecanismos a través de los cuales los sesgos 
se abren camino en los sistemas y cómo la gente termina enre- 
dada con los fenómenos que estudia. En la actualidad, la historia 
de Hans se usa en aprendizaje automático como un recordatorio 


4 Oskar Pfungst, op. cit. 
5 Ibid. 
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admonitorio de que no siempre se puede estar seguro de lo que 
ha aprendido un modelo a partir de los datos que se le han dado 
Incluso un sistema que parece funcionar de forma espectacular 
durante las practicas puede hacer predicciones terribles cuando 
se le presentan datos nuevos en el mundo real. 

Esto nos lleva a la pregunta central de esteslibro: ¿cómo se 
“hace” la inteligencia y con qué trampas nos podemos encontrar 
a partir de este proceso? A primera vista, la historia de Clever Hans 
es la historia de un hombre que construyó inteligencia entre- 
nando a un caballo para que siguiera pistas y emulara la cognición 
humana. Pero, en otro nivel, podemos observar que la práctica de 
crear inteligencia se extendió considerablemente más allá de esta 
situación. El empeño requirió la validación de múltiples institu- 
ciones, incluida la academia, la educación, la ciencia, el público y 
las fuerzas armadas. Luego, está el mercado en el que se insertaron 
Von Osten y su notable caballo: inversiones tanto emocionales 
como económicas que estaban detrás de las giras, los artículos 
periodísticos, las charlas. Autoridades burocráticas congregadas 
para sopesar y analizar las habilidades del caballo. Una constela- 
ción de intereses financieros, culturales y científicos que cumplie- 
ron un rol en la construcción de la inteligencia de Hans y que 
tenían un interés tangible en que esta fuera realmente notable. 

Aquí podemos ver dos mitologías distintas. El primer mito 
es que los sistemas no humanos (sean computadoras o caballos) 
son análogos a la mente humana. Esta perspectiva presupone 
que, con el entrenamiento adecuado o los recursos suficientes, 
una inteligencia parecida a la de un ser humano se puede crear 
de cero sin tener en consideración las maneras fundamentales 


Sebastian Lapuschkin et al, “Unmasking Clever Hans Predictors and 
Assessing What Machines Really Learn”, en Nature Communications, vol. 10, 
núm. 1, 2019, pp. 1-8, disponible en línea: <https://doi.org/10.1038/s41467- 
019-08987-4>. 


ES 
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en que las personas se encarnan, se relacionan y se ubican den- 
tro de contextos más amplios. El segundo mito es que la inteli- 
gencia es algo que existe de forma independiente, como algo 
natural y separado de las fuerzas sociales, culturales, históricas 
y políticas. Este concepto de inteligencia ha causado un daño 
enorme durante siglos y se ha usado para justificar relaciones 
de dominación desde la esclavitud hasta la eugenesia.? 

Estas mitologías prevalecen particularmente en el campo 
de la inteligencia artificial (1a), donde la creencia de que las 
máquinas pueden formalizar y reproducir la inteligencia humana 
ha sido axiomática desde mediados del siglo xx. Así como se 
consideraba la inteligencia de Hans equiparable a la de un ser 
humano, cuidadosamente fomentada como la de un niño durante 
su educación básica, en muchas ocasiones se han descripto los 
sistemas de 1a como formas simples de inteligencia pero pareci- 
das a la humana. En 1950, Alan Turing predijo que “para el fin 
de siglo el uso de palabras y opiniones generales razonadas habrá 
cambiado tanto que uno podrá hablar de máquinas pensantes 
sin esperar a que lo contradigan”* En 1958, el matemático John 
von Neumann aseguró que el sistema nervioso de los seres hu- 
manos es, “a primera vista, digital”? En cierta ocasión, ante la 


7 Véase el trabajo de la filósofa Val Plumwood sobre los dualismos inte- 
ligencia-estupidez, emocional-racional y maestro-esclavo. Val Plumwood, 
“The Politics of Reason: Towards a Feminist Logic’, en Australasian Journal 
of Philosophy, vol. 71, núm. 4, 1993, pp. 436-462, disponible en línea: <https:// 
doi.org/10.1080/000484093 12345432>. 

8 Alan M. Turing, “Computing Machinery and Intelligence”, en Mind, 1° 
de octubre de 1950, pp. 433-460, disponible en linea: <https://doi.org/ 
10.1093/mind/LIX.236.433> [trad. esp.: “Maquinaria computacional e inte- 
ligencia”, trad. de Cristóbal Fuentes Barassi para la Universidad de Chile, 
Santiago de Chile, 2010, disponible en línea: <http://xamanek.iztuam.mx/ 
map/cursos/Turing-Pensar.pdf>]. 

2John von Neumann, The Computer and the Brain, New Haven, Yale Uni- 
versity Press, 1958, p. 44 [trad. esp.: El ordenador y el cerebro, Barcelona, Bosch, 
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pregunta de si las máquinas podían pensar, el profesor del Mas- 
sachusetts Institute of Technology (MIT) Marvin Minsky respon- 
dió: “Por supuesto que las máquinas pueden pensar; nosotros 
podemos pensar y somos ‘máquinas hechas de carne”. Pero no 
todo el mundo estaba tan convencido. Uno de los precursores 
de la invención de la 14, Joseph Weizenbaum, cteador de ELIZA, 
el primer programa conversacional, creía que la idea de que los 
seres humanos son meros sistemas procesadores de información 
involucraba una noción demasiado simplista de la inteligencia, 
y que esa noción estaba detrás de la “perversa fantasía de pro- 
porciones” que suponía pensar que los científicos de la 1a llega- 
rían a crear una máquina que aprendiera “al igual que un niño”.!! 

Esta ha sido una de las discusiones centrales en la historia 
de la 1a. En 1961, el mir fue sede de una serie de importantes 
conferencias con el título de “Administración de empresas y 
la computadora del futuro”. El programa incluía la participación 
de una serie estelar de científicos informáticos, entre los que 
se encontraban Grace Hopper, Joseph Carl Robnett Licklider, 


1980]. Este método fue muy criticado por Hubert L. Dreyfus en What Compu- 
ters Can't Do. A Critique of Artificial Reason, Nueva York, Harper and Row, 1972. 
10 Véase Joseph Weizenbaum, “On the Impact of the Computer on Society: 
How Does One Insult a Machine”, en Science, vol. 176, núm. 4035, 1972, 
p. 612. Tras su muerte, Minsky se vio implicado en serias acusaciones rela- 
cionadas con el pedófilo y violador convicto Jeffrey Epstein. Minsky era uno 
de los muchos científicos que se reunieron con Epstein y lo visitaron en su 
isla de retiro, donde se obligaba a niñas a tener sexo con los miembros de 
su camarilla. Como ha observado la académica Meredith Broussard, esto 
formaba parte de una cultura de exclusión más amplia, que se volvió endé- 
mica en la 1a: “Por muy creativos que fueran Minsky y su séquito, también 
solidificaron la cultura de la tecnología como un club de amigos multimi- 
llonarios. Las matemáticas, la física y las otras ciencias ‘duras’ nunca han 
sido hospitalarias con las mujeres y la gente de color, la tecnología siguió 
este ejemplo”. Véase Meredith Broussard, Artificial Unintelligence, How Com- 
puters Misunderstand the World, Cambridge, MIT Press, 2018, p. 174. 
Joseph Weizenbaum, Computer Power and Human Reason. From Judg- 
ment to Calculation, San Francisco, W. H. Freeman, 1976, pp. 202 y 203. 
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Marvin Minsky, Allen Newell, Herbert Simon y Norbert Wiener, 
para discutir los rápidos avances que se estaban produciendo 
en la computación digital. En su osada conclusión, John McCar- 
thy argumentó que las diferencias entre las tareas humanas y 
las de las máquinas eran ilusorias. Se trataba simplemente de 
que las máquinas requerirían más tiempo para formalizar y resol- 
ver algunas de las tareas humanas más complicadas.!? 

Pero el profesor de filosofía Hubert Dreyfus contraargumentó, 
preocupado por el hecho de que los ingenieros en su conjunto 
“ni siquiera consideraran la posibilidad de que el cerebro pudiera 
procesar información de una manera completamente diferente 
a una computadora”! En una obra posterior, What Computers 
Can't Do, Dreyfus señala que la inteligencia y la pericia humanas 
dependen en gran medida de muchos procesos, inconscientes y 
subconscientes, mientras que las computadoras requieren que 
todos los procesos y los datos sean explícitos y estén formaliza- 
dos.!4 Como resultado, los aspectos menos formales de la inteli- 
gencia tienen que ser abstraídos, eliminados y aproximados, lo 
que vuelve a las computadoras incapaces de procesar información 
sobre situaciones como lo harían los seres humanos. 

Mucho ha cambiado en la 1a desde la década de 1960, incluido 
un giro de los sistemas simbólicos a la más reciente ola hiperbólica 
sobre las técnicas de aprendizaje automático. En varios sentidos, 
las primeras discusiones sobre lo que puede hacer la 1a han sido 
olvidadas y el escepticismo se ha desvanecido. Desde mediados 
de la década de 2000, la 1a se ha expandido rápidamente, como 
campo académico y como industria. Hoy en día, un pequeño nú- 


12 Martin Greenberger (ed.), Management and the Computer of the Future, 
Nueva York, John Wiley and Sons, 1962, p. 315. 

13 Hubert L. Dreyfus, Alchemy and Artificial Intelligence, Santa Monica, 
RAND, 1965, s. d. 

14 Hubert L. Dreyfus, What Computers Can't Do, op. cit. 
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mero de compañías tecnológicas poderosas hace uso de sistemas 
de 14 a escala planetaria, y sus sistemas son aclamados, una vez 
más, como similares o incluso superiores a la inteligencia humana. 

Sin embargo, la historia de Clever Hans también nos recuerda 
cuán estrechamente consideramos o reconocemos la inteligen- 
cia. A Hans se le enseñó a imitar tareas dentro de un rango muy 
acotado: sumar, restar y deletrear. Esto refleja una perspectiva 
limitada de lo que los caballos o los seres humanos pueden 
hacer. En términos de comunicación entre especies, Hans llevaba 
a cabo hazañas notables, además de actuar frente al público y 
tener una considerable paciencia; sin embargo, ninguna de estas 
acciones se reconocía como inteligencia. En palabras de la autora 
e ingeniera Ellen Ullman, esta creencia de que la mente es como 
una computadora, y viceversa, ha “infectado décadas de pensa- 
miento en las ciencias de la computación y cognitivas”, y se vol- 
vió una especie de pecado original en el campo.!* Se trata de la 
ideología del dualismo cartesiano en la 1a, en la que esta se limita 
a ser entendida como una inteligencia incorpórea, liberada de 
cualquier relación con el mundo material. 


¿QUÉ ES LA INTELIGENCIA ARTIFICIAL? 
NI ARTIFICIAL NI INTELIGENTE 


Hagamos la pregunta, en apariencia simple, de qué es la 1a. Si le 
preguntas a alguien en la calle, puede que mencione a Siri de 
Apple, la nube de Amazon, los autos de Tesla o el algoritmo 
de búsqueda de Google. Si les preguntas a los expertos en apren- 
dizaje profundo, puede que te den una respuesta técnica acerca 


15 Ellen Uliman, Life in Code. A Personal History of Technology, Nueva 
York, cp, 2017, pp. 136 y 137. 
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de cómo las redes neuronales se organizan en docenas de capas 
que reciben datos etiquetados a los que se les asignan pesos 
niveles de capacidad para, de esta manera, poder clasificar] 
de modos que aún no podemos explicar del todo.!6 En 1978, 
mientras discutía sobre los sistemas expertos, el profesor Donald 
Michie describió la 1a como el refinamiento del conocimiento, 
donde “se puede producir una confiabilidad y competencia en 
la codificación que supera con creces el nivel más alto que un 
ser humano experto y sin ayuda haya podido, o quizás incluso 
pueda algún día, alcanzar”.!? En uno de los manuales más popu- 
lares sobre el tema, Stuart Russell y Peter Norvig señalan que la 
14 es el intento por entender y construir entidades inteligentes. 
“La inteligencia se ocupa principalmente de la acción racional 
—aseguran—. De manera ideal, un agente inteligente toma la me- 
jor decisión posible en una situación."!$ 
Cada una de estas formas de definirla cumple con un coo) 

tido y establece un marco de referencia para entenderla, me- 
dirla, valorarla y gobernarla. Cuando a la 1a la definen marcas 
de consumo para la infraestructura empresarial, entonces son 
el marketing y la publicidad las que han predeterminado el hori- 
zonte. Cuando los sistemas de 1A se ven más confiables o racio- 
nales que cualquier experto humano, capaces de realizar la 
“mejor acción posible”, entonces se está sugiriendo que debería 


16 Véase, como uno de muchos ejemplos, Tomaso Poggio et al, “Why and 
When Can Deep —but not Shallow— Networks Avoid the Curse of Dimen- 
sionality: A Review”, en International Journal of Automation and Computing, 
vol. 14, núm. 5, 2017, pp. 503-519, disponible en línea: <https://link springer. 
com/article/10.1007/s11633-017-1054-2>. 

17 Cit, en Karamjit S. Gill, Artificial Intelligence for Society, Nueva York, 
John Wiley and Sons, 1986, p. 3. 

18 Stuart J. Russell y Peter Norvig, Artificial Intelligence. A Modern Approach, 
3* ed., Upper Saddle River, Pearson, 2010, p. 30 [trad. esp.: Inteligencia arti- 

ficial. Un enfoque moderno, Madrid, Pearson, 2004]. 
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confiárseles la toma de decisiones de importancia en salud, edu- 
cación y justicia criminal. Cuando el único enfoque son las téc- 
nicas algorítmicas específicas, se está sugiriendo que solo importa 
el progreso técnico continuo, sin considerar el costo computa- 
cional de estos acercamientos ni sus impactos de alto aalt? 
en un planeta bajo presión. e * 

Por el contrario, en este libro sostengo que la 14 no es ari) 
cial ni inteligente. Más bien existe de forma corpórea, como algo 
material, hecho de recursos naturales, combustible, mano de obra, 
infraestructuras, logística, historias y clasificaciones. Los sistemas 
de La no son autónomos, racionales ni capaces de discernir algo 
sin un entrenamiento extenso y computacionalmente intensivo, 
con enormes conjuntos de datos o reglas y recompensas prede- 
finidas. De hecho, la La como la conocemos depende por completo 
de un conjunto mucho más vasto de estructuras políticas y socia- 
les. Y, debido al capital que se necesita para construir 1A a gran 
escala y a las maneras de ver que optimiza, los sistemas de 1A son, 
al fin y al cabo, diseñados para servir a intereses dominantes ya 
existentes. En ese sentido, la 1a es un certificado de poder. 

En este libro, exploraremos cómo se hace la 1a, en el senti 
más amplio, y las fuerzas económicas, políticas, culturales e his- 
tóricas que la moldean. Una vez que conectamos la 14 con estas 
estructuras y sistemas sociales más extendidos, podemos esca- 
par de la noción de que es un dominio puramente técnico €) 
un nivel más básico, la 1A es una serie de prácticas técnicas y 
sociales; es instituciones e infraestructuras, política y cultura. 
El razonamiento computacional y el trabajo físico están profun- 
damente enraizados: los sistemas de 14 reflejan y producen al 
mismo tiempo relaciones sociales y entendimientos del mundo. 

Vale la pena señalar que el término “inteligencia artificial” 
puede crear malestar en la comunidad informática. La frase se 
ha puesto y pasado de moda a lo largo de las décadas, y se usa 
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más en el marketing que en la investigación. En la bibliografía 
técnica, se emplea más a menudo la expresión “aprendizaje auto- 
mático". Sin embargo, la nomenclatura de 1a se adopta con fre- 
cuencia cuando se solicitan financiamientos, cuando los empren- 
dedores aparecen con sus chequeras, o cuando los investigadores 
buscan llamar la atención de la prensa sobre un nuevo descu- 
brimiento científico. Como consecuencia, el término es usado y 
rechazado a la vez, manteniendo su significado en constante 
cambio. Para los propósitos de este libro, uso el término 1a para 
hablar sobre esa enorme formación industrial, que incluye polí- 
tica, mano de obra, cultura y capital. Cuando me refiero a apren- 
dizaje automático, hablo de un rango de acercamientos técnicos 
(que también son, de hecho, de naturaleza social e infraestruc- 
tural, aunque rara vez se los catalogue de esa manera). 

Hay razones significativas que explican por qué el campo 
se ha concentrado tanto en el aspecto técnico -avances en los 
algoritmos, mejoras crecientes del producto y mayor convenien- 
cia—. Las estructuras de poder que se ubican en la intersección 
entre la tecnología, el capital y el gobierno están bien cubiertas 
por este análisis limitado y abstracto. Pero, para entender que 
la 1a es fundamentalmente política, debemos ir más allá de las 
redes neuronales y el reconocimiento de'patrones estadísticos 


y preguntarnos, en cambio, quése está optimizando, para qui) 


y quién toma esas decisiones. Entonces, podemos rastrear sus 
implicaciones. 


VER LA INTELIGENCIA ARTIFICIAL COMO UN ATLAS 
¿Cómo puede ayudarnos un atlas a entender cómo se hace la 


14? Un atlas es un tipo de libro inusitado. Es una colección de 
partes dispares, con mapas que varían en resolución desde una 
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vista satelital del planeta a un detalle ampliado de un archipié- 
lago. Cuando abres un atlas es posible que estés buscando infor- 
mación específica sobre un lugar en particular, o quizás estés 
errando, siguiendo tu curiosidad, encontrando senderos inespe- 
rados y nuevas perspectivas. Como señala la historiadora de la 
ciencia Lorraine Daston, todos los atlas científicos buscan entre- 
nar el ojo, llevar la atención del observador a detalles partic 
larmente reveladores y a características importantes.!? El atlas 
te presenta un punto de vista específico del mundo, con el visto 
bueno de la ciencia (escalas y radios, latitudes y longitudes), 
pero también una sensación de forma y consistencia. 

Y, sin embargo, un atlas no solo es un acto creativo —una in- 
tervención subjetiva, política y estética—, sino también una re- 
copilación científica. El filósofo francés Georges Didi-Huberman 
piensa que el atlas es algo que habita tanto el paradigma estético 
de lo visual como el paradigma epistémico del conocimiento. 
Esta concomitancia socava la idea de que la ciencia y las artes 
están siempre completamente separadas.? Por el contrario, un 
atlas nos ofrece la posibilidad de releer el mundo, conectando 
las piezas de forma distinta y “reeditando y volviendo a armarlo 
sin pensar que lo estamos resumiendo o agotando”.21 

Quizá mi explicación favorita de cuán útil puede llegar a 
ser un acercamiento cartográfico la brinda Ursula Franklin, física 
y crítica de la tecnología: “Los mapas representan empeños inten- 
cionados: están destinados a ser útiles, a ayudar al viajero 


19 Lorraine Daston, "Cloud Physiognomy”, en Representations, vol. 135, 
núm. 1, 2016, pp. 45-71, disponible en línea: <https://doi.org/10.1525/ 
rep.2016.135.1.45>. 

20 Georges Didi-Huberman, Atlas, or the Anxious Gay Science. How to 
Carry the World on Ones Back? Chicago, University of Chicago Press, 2018, 
p- 5 [trad. esp.: Atlas. ¿Cómo levar el mundo a cuestas?, Madrid, TF, 2010]. 

21 Ibid, p. 11. 
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cubriendo la brecha entre lo conocido y lo desconocido; son un 
testamento del conocimiento y la perspicacia colectivos”.22 

En el mejor de los casos, los mapas nos ofrecen un compen- 
dio de caminos abiertos —formas compartidas del conocimient: 
que pueden mezclarse y combinarse para crear nuevas interco- 
nexiones. Pero también existen los mapas de dominación, es(s) 
mapas nacionales en los que el territorio se ve tallado a lo largo 
de las fallas geológicas del poder: desde la intervención direc- 
ta del trazado de fronteras sobre territorios en disputa hasta la 
revelación de los caminos coloniales de los imperios. Al invocar 
un atlas estoy sugiriendo que necesitamos nuevas maneras de 
entender los imperios de la 1a. Necesitamos una teoría de la 
que tome en cuenta los Estados y las corporaciones que la mane= 
jan y dominan, la minería de extracción que deja una huella en 
el planeta, la captura masiva de datos y las prácticas laborales 
profundamente desiguales y cada vez más explotadoras que la 
sustentan. Estos son los movimientos tectónicos de poder en 
la 1a. Un acercamiento topográfico ofrece distintas perspectivas 
y escalas, más allá de las promesas abstractas de la 1 o de los 
últimos modelos de aprendizaje automático. La meta es enten- 
derla en un contexto más amplio, atravesando los difere 
paisajes de la computación y viendo cómo se conectan.2 


22 Ursula M. Franklin y Michelle Swenarchuk, The Ursula Franklin Reader. 
Pacifism as a Map, Toronto, Between the Lines, 2006. 

23 Para un recuento de las prácticas de la colonización de datos, véanse 
Nick Couldry y Ulises A. Mejías, “Colonized by Data: The Costs of Connec- 
tion with Nick Couldry and Ulises Mejías”, charla, Berkman Klein Center for 
Internet and Society, Harvard University, 19 de septiembre de 2019, dispo- 
nible en línea: <https://cyber.harvard.edu/events/colonized-data-costs- 
connection-nick-couldry-and-ulises-mejias>, y Achille Mbembe, Critique of 
Black Reason, Durham, Duke University Press, 2017 [trad. esp.: Crítica de la 
razón negra. Ensayo sobre el racismo contemporáneo, Barcelona, Futuro Ante- 
rior y Nuevos Emprendimientos Editoriales, 2016]. 
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Los atlas también son relevantes aquí por otro motivo. El 
campo de la 1A está explícitamente intentando capturar el planeta 
de una forma que sea legible por computadora. Esto no es una 
metáfora, sino la ambición directa de la industria, que está creando 
y normalizando sus propios mapas, a modo de visión cenital 
centralizada del movimiento, la comunicación fla mano de obra 
humana. Algunos científicos de la 1a han declarado su deseo 
de capturar el mundo y de sustituir otras formas de conocimiento. 
La profesora de 14 Fei-Fei Li describe que el objetivo de su proyecto 
ImageNet es “trazar un mapa de todo el mundo de los objetos”.24 
En su manual, Russell y Norvig describen la 1a como “relevante 
para cualquier tarea intelectual; es realmente un campo univer- 
sal”25 Woody Bledsoe, uno de los fundadores de la 1a y de los pri- 
meros en hacer experimentos con el reconocimiento facial, lo dijo 
sin tapujos: “A largo plazo, la 1A es la única ciencia”.?6 Este no es 
un deseo de crear un atlas del mundo, sino de ser el atlas: la 
forma dominante de ver las cosas. Este impulso colonizador cen- 
traliza el poder en el campo de la 14: determina cómo se mide y 
define el mundo, mientras, al mismo tiempo, niega que se trate de 
una actividad inherentemente política. 

En vez de fingir ser universal, este libro es un informe parcial. 
Al llevarlos conmigo a través de mis investigaciones, espero mos- 
trarles cómo se fueron formarido mis ideas. Nos encontraremos 
con los paisajes más reconocibles de la computación, así como con 
otros menos conocidos: las minas a cielo abierto, los largos pasi- 


24 Fej-Fei Li, cit. en Dave Gershgorn, “The Data That Transformed AI 
Research, and Possibly the World”, en Quartz, 26 de julio de 2017, disponible 
en línea: <https://qz.com/1034972/the-data-that-changed-the-direction-of 
ai-research-and-possibly-the-world/>. 

25 Stuart J. Russell y Peter Norvig, op.cit, p. 1. 

26 Woodrow Wilson Bledsoe, cit. en Pamela McCorduck, Machines Who 
Think. A Personal Inquiry into the History and Prospects of Artificial Intelli- 
gence, Natick, A. K. Peters, 2004, p. 136. 
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llos de centros de datos que devoran cantidades inmensas de 
energía, los archivos de cráneos, las bases de datos de imágenes 
y los hangares con luces fluorescentes de los centros de distribu- 
ción. Incluyo estos sitios no solo para ilustrar la construcción 
material de la 1a y sus ideologías, sino también para “iluminar los 
aspectos inevitablemente subjetivos y políticos de la creación de 
mapas, y para proporcionar alternativas a los enfoques hegemó- 
nicos, autoritarios (y a menudo naturalizados y cosificados)’, en 
palabras de Shannon Mattern, académica experta en medios.?” 
Los modelos para comprender y hacer rendir cuentas a los 
sistemas han reposado largamente en los ideales de la transpa- 
rencia. Como he escrito junto con Mike Ananny, académico ex- 
perto en medios, a veces se equipara el poder verun sistema con 
el saber cómo funciona y cómo gobernarlo.28 Pero esta tendencia 
tiene serias limitaciones. En el caso de la 1a, no hay una única caja 
negra por abrir, ningún secreto por exponer, sino una multitud 
de sistemas de poder entrelazados. Por lo tanto, la transparencia 
completa es una meta inalcanzable. Mejor dicho, adquirimos un 
mejor entendimiento de la función de la 1a en el mundo al enfren- 
tarnos a su arquitectura material, sus entornos contextuales y 
políticas imperantes, y rastreando cómo se conectan entre sí. 
Fundo mis opiniones en este libro erlas disciplinas de estu- 
dios científicos y tecnológicos, en las leyes y la filosofía política, 
y en mi experiencia de trabajo tanto en la academia como en un 
laboratorio de investigación de 14 industrial durante más de una 
década. A lo largo de esos años, la generosidad de muchos cole- 
gas y comunidades ha cambiado la manera en que veo el mundo: 


2 Shannon Mattern, Code and Clay, Data and Dirt. Five Thousand Years 
of Urban Media, Mineápolis, University of Minnesota Press, 2017, pp. 34 y 35. 

28 Mike Ananny y Kate Crawford, “Seeing without Knowing: Limitations 
of the Transparency Ideal and Its Application to Algorithmic Accountability’, 
en New Media and Society, vol. 20, núm. 3, 2018, pp. 973-989. 
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crear mapas siempre es un ejercicio colectivo y esta no ha sido 
la excepcién.2? Agradezco a los académicos que crearon nuevas 
formas de entender los sistemas sociotécnicos, incluidos Geoffrey 
Bowker, Benjamin Bratton, Wendy Chun, Lorraine Daston, Peter 
Galison, lan Hacking, Stuart Hall, Donald MacKenzie, Achille 
Mbembe, Alondra Nelson, Susan Leigh Star y*Lucy Suchman, 
entre muchos otros. El presente ensayo se ha beneficiado de 
muchas conversaciones en persona, así como de la lectura de los 
trabajos recientes de autores que estudian las políticas de la 
tecnología: Mark Andrejevic, Ruha Benjamin, Meredith Brous- 
sard, Simone Browne, Julie Cohen, Sasha Costanza-Chock, Vir- 
ginia Eubanks, Tarleton Gillespie, Mar Hicks, Tung-Hui Hu, Yuk 
Hui, Safiya Umoja Noble y Astra Taylor. 

Al igual que cualquier otro libro, este surge de mi experien- 
cia personal, lo que impone limitaciones. Como alguien que ha 
vivido y trabajado en Estados Unidos durante la última década, 
mi foco vira hacia la industria de la 1a en los centros de poder 
occidentales. Sin embargo, mi objetivo no es el de crear un atlas 
global completo; esa sola idea invoca una captura y un control 
coloniales. Por el contrario, la visión de cualquier autor solo puede 
ser parcial, basada en observaciones e interpretaciones locales, 
en lo que la geógrafa ambiental Samantha Saville ha llamado 
una “geografía humilde” que da cuenta de la perspectiva espe- 
cífica propia antes que presumir de objetividad o dominio.*° 


29 Cualquier lista siempre será un recuento inadecuado de todas las per- 
sonas y comunidades que han inspirado e informado este trabajo. Estoy parti- 
cularmente agradecida de las siguientes comunidades de investigación: Fair- 
ness, Accountability, Transparency and Ethics (FATE) y Social Media Collective 
en Microsoft Research, el ar Now Institute de New York University, el grupo 
de trabajo Foundations of at en la Ecole Normale Supérieure, y el Richard von 
Weizsäcker Visiting Fellows en la Robert Bosch Academy en Berlín. 

30 Samantha Saville, “Towards Humble Geographies’, en Area, 2019, pp. 1-9, 
disponible en línea: <https://doi.org/10.1111/area.12664>. 


36 ATLAS DE INTELIGENCIA ARTIFICIAL 


Así como hay muchas maneras de hacer un atlas, en el 
futuro la 1a también podrá usarse de muchas formas distintas. 
El alcance expansivo de los sistemas de 1a puede parecer inevi- 
table, pero esta aseveración resulta discutible e incompleta. Los 
enfoques subyacentes del campo no surgen de forma autónoma, 
sino que, por el contrario, se han construido a partir de un con- 
junto de creencias y perspectivas específicas. Los principales 
diseñadores detrás del atlas contemporáneo de la 1A pertenecen 
a un grupo pequeño y homogéneo de personas, radicado en un 
puñado de ciudades, que trabaja en una industria que actual- 
mente es la más próspera del mundo. Como uno de esos mapa- 
mundis europeos medievales, que ilustraban tanto conceptos 
religiosos y clásicos como coordenadas geográficas, los mapas 
creados por la industria de la 1a son intervenciones políticas, no 
imágenes neutrales del mundo. Este libro está hecho en oposi- 
ción al espíritu de la lógica cartográfica colonial y abarca dife- 
rentes historias, locaciones y bases del conocimiento para com- 
prender mejor la función de la 1A en el mundo. 


TOPOGRAFÍAS DE LA COMPUTACIÓN . 


¿Cómo se conceptualiza y construye la 1a a estas alturas | 
siglo xx1? ¿Qué está en juego en el giro hacia la 1a y qué tipos 
de políticas están contenidas en la manera en que se cartografía 

e interpreta el mundo? ¿Cuáles son las consecuencias, o) 
y materiales, de incluir la 1a y los sistemas algorítmicos vi 

lados a ella en los sistemas de toma de decisiones de institucio- 
nes sociales, como la educación y la atención médica, las finan- 
zas, las operaciones gubernamentales, las interacciones en el 
lugar de trabajo y las contrataciones, los sistemas de comunica- 
ción y el sistema judicial? Este libro no es una historia acerca de 
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“El mundo en una hoja de trébol, que simboliza la Santísima 
Trinidad, con la ciudad de Jerusalén como centro 
del mundo, rodeada por tres continentes centrales. 
Incluido en Itinerarium Sacrae Scripturae (Magdeburgo, 1581). 


la programación y los algoritmos, ni acerca de las últimas con- 
sideraciones sobre la visión artificial o el procesamiento de len- 
guaje natural o el aprendizaje reforzado. Muchos otros libros 
tratan esos asuntos. Tampoco es un relato etnográfico sobre los 
efectos de la 1a en la experiencia de trabajo, vivienda o salud de 
una comunidad específica; aunque ciertamente nos hacen falta 
más de esos. 

En cambio, es una visión amplia de la 1a como una industria 
de extracción. La creación de los sistemas de 1a contemporáneos 
depende de la explotación de los recursos energéticos y mine- 
rales del planeta, de la mano de obra barata y los datos a gran 
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escala. Para observar este funcionamiento, realizaremos una se- 
rie de viajes a lugares que revelan de qué está hecha verdade(| 
mente la 1a. 

Comenzamos el capitulo 1 en las minas de litio de Nevada, 
uno de los tantos sitios de extracción mineral que se necesita 
para proporcionar energía a la computación contemporánea. 
En la minería, vemos la política de extracción de la 1 de fo: 
más literal. Existe una vasta demanda por parte del sector tec- 
nológico de minerales de tierras raras, petróleo y carbón, pero 
los costos de esa extracción nunca los asume la propiá industria. 
Por el lado del software, la construcción de modelos para pro- 
cesar lenguaje natural y visión artificial consume enormes c 
tidades de recursos energéticos, y la competencia por producir 
modelos más rápidos y eficientes ha impulsado métodos compu- 
tacionalmente codiciosos que expanden la huella de carbono. 
Desde los últimos árboles en Malasia, cosechados para producir 
látex para los primeros cables submarinos transatlánticos, hasta 
el gigante lago artificial de residuos tóxicos en la Mongolia In- 
terior, rastreamos los lugares de nacimiento, tanto ambientales 
como humanos, de las redes planetarias de computación y ve- 
mos cómo siguen terraformando el planeta. ` 

El capítulo 11 muestra que la 1a está hecha de mano de ob: 
humana. Vemos a los trabajadores digitales a destajo, a los que O 
les paga una miseria, haciendo clic en microtareas para que los 
sistemas de datos parezcan más inteligentes de lo que realmente 
son?! Nuestra travesía nos llevará al interior de los centros de 
distribución de Amazon, donde los empleados deben seguir el 


*! Para leer más sobre los trabajadores de crowdsourcing, véanse Mary L. 
Gray y Siddharth Suri, Ghost Work. How to Stop Silicon Valley from Building 
a New Global Underclass, Boston, Houghton Mifflin Harcourt, 20 19, y Sarah 
T. Roberts, Behind the Screen. Content Moderation in the Shadows of Social 
Media, New Haven, Yale University Press, 2019. 
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ritmo de las cadencias algoritmicas de un vasto imperio logistico, 
y, en Chicago, visitaremos a los trabajadores de la carne en las lí- 
neas de procesamiento, donde se diseccionan y preparan los ca- 
dáveres de animales para el consumo. Luego, escucharemos a 
los trabajadores protestar contra la forma en que los sistemas de 
1A aumentan la vigilancia y el control desus jéfes. 

La mano de obra también es una historia sobre el tiempo. 
Coordinar las acciones de los seres humanos con los movimien- 
tos repetitivos de los robots y de las líneas de producción siem- 
pre ha implicado controlar cuerpos en el espacio y en el tiempo.*? 
Desde la invención del cronómetro hasta el TrueTime de Google, 
el proceso de coordinar el tiempo estuvo en el centro de la ges- 
tión del lugar de trabajo. Las tecnologías de la 1a requieren y 
crean a la vez las condiciones para unos mecanismos de gestión 
temporal cada vez más granulares y precisos. Coordinar el tiempo 
exige información cada vez más detallada acerca de qué está 
haciendo la gente, cómo y cuándo. 

El capítulo 111 se centra en la función de los datos. Todo el ma- 
terial digital de acceso público —incluidos los datos personales 
o potencialmente dañinos— puede recolectarse para entrenar c 
juntos de datos que luego se utilizan para producir modelos de 
1a. Hay conjuntos de datos gigantescos llenos de selfis, gestos 
con la mano, gente manejando, bebés llorando, conversaciones 
de grupos sobre noticias de la década de 1990; todo para mejo- 
rar algoritmos que realizan funciones como el reconocimiento 
facial, las predicciones de lenguaje y la detección de objetos. 
Cuando estas colecciones de datos ya no son vistas como efectos 
personales de la gente, sino meramente como infraestructura, se 
asume que el significado o contexto de una imagen o video es 


32 Jimena Canales, A Tenth of a Second. A History, Chicago, University of 
Chicago Press, 2010. 
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irrelevante. Más allá del serio problema de la privacidad y del 
capitalismo de vigilancia vigente, las prácticas actuales de tra- 
bajar con datos en la 1a plantean profundas SME 
cas, metodológicas y epistemológicas.33 

¿Y cómo se usan todos estos datos? En el capítulo rv, ob: 
varemos las prácticas de clasificación en los sistemas de 1a, la 
“maquinaria epistémica”, según la socióloga Karin Knorr Ceti- 
na.*4 Veremos que los sistemas actuales utilizan etiquetas para 
predecir la identidad humana, por lo general, a partir de géneros 
binarios, categorías raciales catalogadas como esenciales y valo- 
raciones problemáticas de personalidad y solvencia. Un signo 
remplazará un sistema, un proxy simbolizará la cosa real y se le 
pedirá a un modelo de juguete que sustituya la infinita comple- 
jidad de la subjetividad humana. Al observar cómo se hacen las 
clasificaciones, vemos de qué manera los diagramas técnicos 
refuerzan las jerarquías y magnifican la desigualdad. El apren- 
dizaje automático nos presenta un régimen normativo que, 
cuando va en ascenso, adopta la forma de una racionalidad go- 
bernante poderosa. 

Desde aquí, viajamos a los pueblos serranos de Papúa Nueva 
Guinea para explorar la historia del reconocimiento emocio 
que sostiene que la clave para revelar el estado emocional "E 
rior de una persona se encuentra en sus expresiones faciales. El 
capítulo v sopesa la aseveración del psicólogo Paul Ekman según 
la cual hay un pequeño conjunto de estados emocionales uni- 
versales que se pueden leer directamente en el rostro. Las empre- 


3 Shoshana Zuboff, The Age of Surveillance Capitalism. The Fight for a 
Human Future at the New Frontier of Power, Nueva York, PublicAffairs, 2019 
[trad. esp.: La era del capitalismo de la vigilancia. La lucha por un futuro 
humano frente a las nuevas fronteras del poder, Buenos Aires, Paidós, 2021]. 

34 Karin Knorr Cetina, Epistemic Cultures. How the Sciences Make 
Knowledge, Cambridge, Harvard University Press, 1999, p. 3. 
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sas de tecnología están ahora utilizando esta idea en siste: 

de reconocimiento emocional, como parte de una industria q 

se predice, estará valorada en más de 17.000 millones de dóla- 
res.35 Pero hay una considerable controversia científica en torno 
a la detección de emociones, la cual en el mejor de los casos es 
incompleta y, en el peor, engañosa. A pesar dela inestable pre- 
misa, estas herramientas están siendo rápidamente utilizadas 
en los sistemas de contratación, educación y vigilancia. 

En el capítulo vi, veremos los modos en que los sistemas 
1a son usados como una herramienta del poder estatal. El la 
y el presente militar de la 1a han moldeado las prácticas de 
vigilancia, extracción de datos y evaluación de riesgos que vemos 
hoy. Las profundas interconexiones entre el sector tecnológi 
y el ejército están siendo manipuladas para adaptarlas a una 
fuerte agenda nacionalista. Mientras tanto, las herramientas ile- 
gales usadas por la comunidad de inteligencia se han dispersado 
y pasaron del mundo militar al sector tecnológico comercial, 
para ser usadas en aulas, estaciones de policía, lugares de trabajo 
y agencias de desempleo. La lógica militar que le dio forma a los 
sistemas de 14 ahora es parte del funcionamiento de los gobier- 
nos municipales y está sesgando aún más la relación entre los 
Estados y los sujetos. 

El capítulo final evalúa la manera en que la La actúa como 
una estructura de poder que combina infraestructura, capit: 
mano de obra. Desde la alerta que recibe el conductor de Uber, 
al rastreo del inmigrante indocumentado o a los inquilinos de 
viviendas sociales que lidian en sus hogares con sistemas de re- 
conocimiento facial, los sistemas de 1a se construyen siguiendo 
la lógica del capital, la vigilancia y la militarización. Esta combi- 


35“Emotion Detection and Recognition (EDR) Market Size to Surpass 18%+ 
CAGR 2020 to 2027”, en MarketWatch, 5 de octubre de 2020. 


42 ATLAS DE INTELIGENCIA ARTIFICIAL 


nación amplía más las asimetrías de poder ya existentes. Estas 
formas de ver dependen de los movimientos especulares de la 
abstracción y la extracción: abstraer las condiciones materiales 
de su creación mientras se extrae más información y recursos de 
aquellos que son menos capaces de resistirse. 

Sin embargo, estas lógicas pueden ser cuestionadas del 
mismo modo en que los sistemas que perpetúan la opresión 
pueden ser rechazados. A medida que las condiciones en la Tie- 
rra cambian, los llamados a proteger datos, derechos laborales, 
Justicia climática y equidad racial deberían ser escuchados en 
conjunto. Cuando entendemos la 14 a través de estos movimien- 
tos interconectados en pos de la justicia, son posibles diferentes 
concepciones de políticas planetarias. 


EXTRACCIÓN, PODER Y POLÍTICA 


La La es, por lo tanto, una idea, una infraestructura, una indus- 
tria, una forma de ejercer poder y una manera de ver; también 
es la manifestación de un capital muy organizado respaldado 
por vastos sistemas de extracción y logística, con cadenas de 
suministro que abarcan todo el planeta. Todas estas cosas fo: 

parte de la 1a: una frase de dos palabras sobre la cual se "E 
cartografiar un conjunto complejo de expectativas, ideologías, 
deseos y miedos. 

La 1a puede parecer una fuerza espectral, un tipo de com- 
putación incorpórea, pero estos sistemas no son abstractos en 
absoluto. Son infraestructuras físicas que están transform O 
la Tierra, a la vez que alteran la forma en que vemos y entende- 
mos el mundo. 

Es importante que lidiemos con los múltiples aspectos de la 
ta: su maleabilidad, su desorden y su alcance espacial y temporal. 
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La promiscuidad de la 14 como término, su apertura a ser recon- 
figurada, quiere decir que se la puede utilizar de diversas formas: 
se puede referir a cualquier cosa, desde dispositivos de consumo 
como el Amazon Echo hasta sistemas anónimos de procesamien- 
tos secundarios; desde artículos técnicos especializados hasta 
las compañías industriales más grandes del nftindo. Pero esto 
también tiene sus ventajas. La amplitud del término “inteligen- 
cia artificial” nos permite considerartodos estos elementos y cómo 
están profundamente imbricados: desde la política de la inteli- 
gencia hasta la recolección masiva de datos; desde la concentra- 
ción industrial del sector de la tecnología hasta el poder militar 
geopolítico; desde el entorno de desarraigo hasta las formas de 
discriminación en desarrollo. 

Nuestra tarea es permanecer pendientes del terreno y ob- 
servar los significados cambiantes y maleables del término “in- 
teligencia artificial” -como un contenedor en el que se colocan 
varias cosas y luego se retiran—, porque eso también es parte de 
la historia. 

En pocas palabras, la 1a cumple ahora una función en la crea- 
ción del conocimiento, la comunicación y el poder. Estas reco; 
figuraciones están ocurriendo a nivel de la epistemología, 1 
principios de justicia, la organización social, la expresión política, 
la cultura, el entendimiento de los cuerpos humanos, las subjeti- 
vidades y las identidades; lo que somos y lo que podemos ser. 
Pero es posible ir todavía más lejos. La 1A no solo es una parte del 
proceso de replantear e intervenir el mundo, sino una forma fun- 
damentalmente política de hacer el mundo, aunque rara vez se la 
reconozca como tal. Este proceso es no democrático, dominado 
por las grandes casas de la 1a, que constan de media docena de 
compañías que dominan la computación planetaria a gran escala. 

Muchas instituciones sociales están influidas por estas herra- 
mientas y métodos que dan forma a lo que valoran y a la manera 
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en que toman decisiones, mientras crean una compleja cadena 
de efectos posteriores. Durante largo tiempo, el poder tecnocrá- 
tico se ha intensificado; sin embargo, el proceso ahora se ha 
acelerado. Esto se debe, en parte, a la concentración del capital 
industrial en una época de austeridad económica y tercerización, 
que ha incluido la eliminación de fondos para los sistemas de 
ayuda social y para las instituciones que alguna vez actuaron 
como reguladoras del poder del mercado. Por ello, debemos 
lidiar con la 1a como una fuerza política, económica, cultural 
y científica. Como observan Alondra Nelson, Thuy Linh Tu y 
Alicia Headlam Hines: “Las controversias en torno a la tecnolo- 
gía están siempre relacionadas con luchas más grandes por la 
movilidad económica, la maniobrabilidad política y la construc- 
ción de comunidades”36 

Nos encontramos en una coyuntura crítica que nos obliga 
a hacernos preguntas difíciles sobre la forma en que la 14 se 
produce y adopta: ¿qué es la 1a?, ¿qué tipos de políticas difunde?, 
¿a qué intereses responde y quién corre el mayor riesgo de sufrir 
daños?, ¿adónde debería limitarse el uso de la 1a? Estas pregun- 
tas no tendrán respuestas cómodas. No obstante, no es una 
situación sin solución o un punto sin retorno; el pensamiento 
apocalíptico nos puede paralizar hasta:impedirnos tomar medi- 
das o realizar intervenciones que se necesitan con urgencia.27 
Como ha escrito Ursula Franklin: “La viábilidad de la tecnologia, 


36 Alondra Nelson, Thuy Linh N. Tu y Alicia Headlam Hines, “Introduction: 
Hidden Circuits”, en Alondra Nelson, Thuy Linh N. Tu y Alicia Headlam 
Hines (eds), Technicolor. Race, Technology, and Everyday Life, Nueva York, 
New York University Press, 2001, p. 5. 

7 Déborah Danowski y Eduardo Batalha Viveiros de Castro, The Ends of 
the World, trad. de Rodrigo Guimaraes Nunes, Malden, Polity, 2017 [trad. 
esp.: ¿Hay mundo por venir? Ensayo sobre los miedos y los fines, trad. de 
Rodrigo Álvarez, Buenos Aires, Caja Negra, 2019]. 
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como la democracia, depende a fin de cuentas de la práctica de 
la justicia y de la aplicación de límites al poder”.38 

Este libro sostiene que, para abordar los problemas funda- 
cionales de la 1a y la computación planetaria, primero debemos 
conectar los temas del poder y la justicia: de la epistemología a 
los derechos laborales, de la extracción de recfirsos a la protec- 
ción de datos, de la desigualdad racial al cambio climático. Para 
hacer eso, necesitamos expandir nuestro entendimiento de lo 
que está ocurriendo en los imperios de la 1a, para ver lo que “a 
en juego y tomar mejores decisiones colectivas sobre lo q 
vendrá a continuación. 


38 Ursula M. Franklin, The Real World of Technology, ed. rev., Toronto, 
House of Anansi Press, 2004, p. 5. 
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EL BOEING 757 se inclina directamente sobre San José en su 
acercamiento final al Aeropuerto Internacional de San Francisco. 
El ala izquierda desciende a medida que el avión se alinea con 
la pista, revelando una vista aérea de la ubicación más emble- 
mática del sector tecnológico. Abajo están los grandes imperios 
de Silicon Valley. El gigantesco círculo negro de la sede de Apple 
se extiende como una lente fotográfica sin tapa, brillando al sol. 
Luego está la oficina central de Google, ubicada en las cercanías 
de Moffett, el aeródromo federal de la National Aeronautics and 
Space Administration (Nasa). Este lugar fue clave para la Marina 
de Estados Unidos durante la Segunda Guerra Mundial y la 
guerra de Corea, pero ahora Google tiene un contrato de alqui- 
ler por sesenta años, y allí sus altos ejecutivos estacionan sus 
jets privados. Cerca de Google, se encuentran los grandes han- 
gares de producción de Lockheed Martin, donde esta empresa 
aeroespacial y de fabricación de armas construye cientos de 
satélites orbitales destinados a contemplar desde arriba las acti- 
vidades de la Tierra. A continuación, junto al puente Dumbarton, 
hay un conjunto de edificios bajos que son el hogar de Facebook, 
rodeados de un estacionamiento gigante cerca de los pantanos 
salinos de Ravenswood. Desde esta perspectiva privilegiada, los 
insulsos callejones suburbanos, así como el horizonte industrial 
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de media altura de Palo Alto, apenas si delatan su verdadera ri- 
queza, poder e influencia. Solo hay leves indicios de su centra- 
lidad en la economía global y en la infraestructura computacio- 
nal del planeta. 

Estoy aquí para aprender acerca de la inteligencia artifici 
(La) y de qué está hecha. Para ver eso, tendré que abandonar 
icon Valley por completo. 

En el aeropuerto, me subo a una camioneta y manejo hacia 
el este. Cruzo el puente San Mateo-Hayward y paso junto al 
Lawrence Livermore National Laboratory, donde Edward Teller 
dirigió su investigación sobre armas termonucleares en los años 
posteriores a la Segunda Guerra Mundial. Pronto se elevan las 
laderas de Sierra Nevada, pasando los pueblos de Stockton y 
Manteca, en el Valle Central. Aquí las carreteras empiezan a 
serpentear a través de los acantilados de granito del paso de 
Sonora y a bajar por el lado este de las montañas, hacia los valles 
cubiertos de hierba y salpicados de amapolas doradas. Los bos- 
ques de pinos dan paso a las aguas alcalinas del lago Mono y a 
los accidentes geográficos del desierto de la provincia de Basin 
y Range. Para reabastecerme de combustible, entro en Hawthorne, 
Nevada, donde se encuentra el depósito de municiones más 
grande del mundo, donde el Ejército de Estados Unidos almacena 
su armamento en docenas de zigurats cubiertos de tierra que 
pueblan el valle en filas ordenadas. Mientras manejo por la ruta 
estatal 256, veo a la distancia un solitario VORTAC, una gran torre 
de radio en forma de pino de bowling, diseñada en la era anterior 
al Gps. Cumple una sola función: transmitir “Estoy aquí” a todos 
los aviones que pasan, un punto de referencia fijo en un terreno 
solitario. 

Me dirijo a Silver Peak, una comunidad no incorporada, 
ubicada en el valle Clayton, donde viven, según cómo se hag 
los números, alrededor de 125 personas. El pueblo minero, WS 
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Mina de litio de Silver Peak. 
Fotografía de Kate Crawford. 


de los más antiguos de Nevada, fue prácticamente abandonado 
en 1917, después de que el suelo quedara despojado por com- 
pleto de plata y oro. Unos pocos edificios de la época de la 
fiebre del oro todavía se mantienen en pie, erosionándose bajo 
el sol del desierto. Puede que el pueblo sea pequeño, con más 
autos desguazados que personas, pero alberga algo verdade- 
ramente excepcional. Silver Peak se alza al borde de un gigan- 
tesco lago de litio subterráneo. Este valioso océano de litio es 
bombeado hacia la superficie y queda al aire libre en estanqu/£) 
verdes iridiscentes para que se evapore. Cuando brillan y refle- 
jan la luz, los estanques pueden verse a kilómetros de distancia. 
De cerca es algo completamente distinto. Tuberías negras con 
aspecto alienígena brotan del suelo y serpentean a lo largo de 
la tierra incrustada de sal, entrando y saliendo de SEN 
poco profundas, llevando el cóctel salado a sus bateas 
secado. Aquí, en un rincón remoto de Nevada, se crea la mate- 
ria de la 1A. 
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EXPLOTACIÓN MINERA PARA LA INTELIGENCIA 
ARTIFICIAL 


El valle Clayton se conecta con Silicon Valley de la misma 
manera en que en el siglo x1x los yacimientos de oro se conec- 
taban con San Francisco. La historia de la minería, al igual que 
la estela de devastación que deja, se pasa por alto por lo gene: 
como parte de la amnesia estratégica que va de la mano E 
relato del progreso tecnológico. Como señala el geógrafo histó- 
rico Gray Brechin, San Francisco se construyó a partir de las 
ganancias obtenidas de la extracción de oro y plata en las tierras 
de California y Nevada en el siglo x1x.! La ciudad proviene de 
la minería. Esas mismas tierras le habían sido arrebatadas a 
México en virtud del Tratado de Guadalupe Hidalgo de 1848, 
al final de la guerra entre México y Estados Unidos, cuando ya 
resultaba evidente para los colonos que allí había yacimientos 
de oro de gran valor. Era un ejemplo de manual, reflexiona Bre- 
chin, del viejo adagio que dice que “el comercio sigue a la ban- 
dera, pero la bandera sigue a la picota”? Miles de personas fue- 
ron obligadas a abandonar sus hogares durante esta sustancial 
expansión territorial de Estados Unidos. Después de la invasié 
imperial estadounidense, llegaron los mineros. La tierra quid) 
desguarnecida, hasta que los canales fueron contaminados y 
los bosques lindantes destruidos. 

Desde la Antigüedad, el negocio de la minería solo ha sido 
rentable porque no tiene que responder por sus verdaderos 
costos: el daño ambiental, la enfermedad y muerte de miner. 
las pérdidas de las comunidades desplazadas. En 1555, Georgius 


Gray Brechin, Imperial San Francisco. Urban Power, Earthly Ruin, Berke- 
ley, University of California Press, 2007. 
2 Ibid, p. 29. 
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Agricola, conocido como el padre de la mineralogía, señaló que 
“resulta evidente para todos que la mineria produce un mayor 
detrimento que el valor de los metales que produce"? En otras 
palabras, aquellos que obtienen ganancias de la minería lo 
hacen tan solo porque los costos son pagados por otros, algunos 
vivos y otros todavia por nacer. Es fácil ponerles precio a los 
metales valiosos, pero ¿cuál es el valor exacto de la naturaleza, 
de un arroyo limpio, del aire respirable, de la salud de las comu- 
nidades locales? Nunca fue estimado y, por lo tanto, se hizo un 
cálculo rápido: extraerlo todo, lo más rápidamente posible. El 
“muévete rápido y rompe cosas” de otra época. Como resultado, 
el Valle Central fue diezmado y, como un turista comentó en 
1869, “un tornado, una inundación, un terremoto y un volcán 
combinados difícilmente podrían causar más estragos o exten- 
der mayores ruinas y despojos que las operaciones de lavado de 
oro. [...] La minería no respeta ningún derecho en California. Es 
el interés único y supremo”. 

Como a San Francisco le llegaban muchas riquezas de 
minas, a su población le fue fácil olvidar de dónde proveni 
Las minas estaban ubicadas lejos de la ciudad que enriquecían, 
y esta lejanía permitió a sus ciudadanos seguir ignorando lo que 
les ocurría a las montañas, a los ríos y alos trabajadores que ali- 
mentaban sus fortunas. Pero había pequeños recordatorios de 
las minas por todas partes. Los nuevos edificios de la ciudad 
usaban la misma tecnología que venía de las profundidades del 
Valle Central para el transporte y el soporte vital. Los sistemas 
de poleas que acarreaban a los mineros a las galerías fueron 
adaptados y dados vuelta para transportar personas en ascen- 


3 Georgius Agricola, cit. en Gray Brechin, op. cit, p. 25. 
4 Gray Brechin, op. cit, p. 50. 


54 ATLAS DE INTELIGENCIA ARTIFICIAL 


sores hasta la cima de los rascacielos de la ciudad.5 Brechin 
sugiere que tendríamos que pensar en esos rascacielos de San 
Francisco como un paisaje minero invertido. Los minerales extraí- 
dos de agujeros en el suelo fueron vendidos para crear historias 
en el aire; cuanto más profundas fueron las extracciones, más 
altas se alzaron hacia el cielo las grandes torres de oficinas. 
San Francisco se ha enriquecido una vez más. Antes asegu- 
raba fortunas el mineral del oro; ahora lo hace la extracción de 
sustancias como el cristal de litio blanco. En los mercados de 
nerales se lo conoce como el “oro blanco”$ La industria tecnoló- 
gica se ha vuelto un nuevo interés supremo, y las cinco compañías 
más grandes del mundo (según la capitalización bursátil) tienen 
oficinas en esta ciudad: Apple, Microsoft, Amazon, Facebook 
Google. Al pasar frente a los centros de distribución de las com- 
pañías emergentes en el distrito Soma, donde estuvieron alguna 
vez las carpas de los mineros, se pueden ver autos de lujo, cade- 
nas de café respaldadas por capitales de riesgo, autobuses sun- 
tuosos con vidrios polarizados recorriendo rutas privadas, le- 
vando a los trabajadores a sus oficinas en Mountain View o 
Menlo Park.” Pero a una corta distancia está la calle Division, 
una vía de múltiples carriles entre Soma y el distrito Mission, en 
el que las hileras de carpas han regresado, esta vez para guarecer 


5 Gray Brechin, op. cit, p. 69. 

ê Véanse, por ejemplo, Kate Davies y Liam Young, Tales from the Dark 
Side of the City. The Breastmilk of the Volcano, Bolivia and the Atacama Desert 
Expedition, Londres, Unknown Fields, 2016, y “A Grey Goldmine: Recent 
Developments in Lithium Extraction in Bolivia and Alternative Energy Pro- 
jects’, en Council on Hemispheric Affairs, 17 de noviembre de 2009, dispo- 
nible en linea: <http://www.coha.org/a-grey-goldmine-recent-develop- 
ments-in-lithium-extraction-in-bolivia-and-alternative-energy-projects/>. 

7 Para obtener más información sobre los cambios más evidentes en San 
Francisco, véase Anne B. Bloomfield, “A History of the California Historical 
Society's New Mission Street Neighborhood", en California History, vol. 74, 
núm. 4, 1995-1996, pp. 372-393. 
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a quienes no tienen a dónde ir. Después del boom tecnológico, 
San Francisco tiene ahora una de las tasas mds altas de person. 
sin hogar en Estados Unidos. El relator especial de las Naciones 
Unidas para el derecho a una vivienda adecuada la llamó una 
violación a los derechos humanos “inaceptable”, debido alos miles 
de residentes sin hogar a los que se les niegan necesidades básicas 
como agua, instalaciones sanitarias y servicios de salud, en con- 
traste con el número récord de multimillonarios que viven en las 
cercanías.? Los mayores beneficios de la extracción han sido p Gr) 
cibidos por unos pocos. 

En este capitulo recorreremos Nevada, San José y San Fran- 
cisco, así como Indonesia, Malasia, China y Mongolia; del desierto 
al océano. También cruzaremos el tiempo histórico, desde I) 
conflictos en el Congo y los lagos negros artificiales en la actua- 
lidad hasta la pasión victoriana por el látex blanco. Las escalas 
variarán, para que nos enfoquemos tanto en rocas como en 
ciudades, árboles o megacorporaciones, rutas marítimas transo- 
ceánicas o la bomba atómica. Pero, a lo largo de este supersistema 
planetario, veremos la logística de la extracción, una reducción 
constante de minerales, agua y combustibles fósiles apuntalada 
por la violencia de las guerras, la contaminación, la extinción y 
el desgaste del suelo. Los efectos de la computación a gran escala 
pueden verse en la atmósfera, los océanos, la corteza terres 
el tiempo profundo del planeta y el brutal impacto en las pob 
ciones desfavorecidas alrededor del mundo. Para entenderlo 


8 San Francisco Department of Homelessness and Supportive Housing, 
“Street Homelessness’, disponible en línea: <http://hsh.sfgov.org/street-home- 
lessness/>. Véase también “Counterpoints: An Atlas of Displacement and 
Resistance", en Anti-Eviction Mapping Project (blog), 3 de septiembre de 2020. 

? Alastair Gee, “San Francisco or Mumbai? uN Envoy Encounters Home- 
less Life in California”, en The Guardian, 22 de enero de 2018, disponible en 
línea: <https://www.theguardian.com/us-news/2018/jan/22/un-rapporteur- 
homeless-san-francisco-california>. 
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todo, necesitamos una vista panorámica de la escala planetaria 
de la extracción computacional. 


PAISAJES COMPUTACIONALES 


Manejo por el desértico valle una tarde de verano para ver el 
funcionamiento de este último boom minero. Le pido a mi telé- 
fono que me dirija al perímetro de los estanques de litio y me 
responde desde su incómoda posición en el tablero, sujeto por 
un cable uss blanco. El gran lecho seco del lago de Silver Peak 
se formó hace millones de años, durante las postrimerías del 
periodo terciario. Está rodeado por estratificaciones encostradas 
que se elevan hacia crestas que contienen calizas oscuras, cuar- 
citas verdes y pizarra gris y roja.!0 Se descubrió litio aquí después 
de una exploración de la zona en busca de minerales estratégi- 
cos como la potasa, durante la Segunda Guerra Mundial. Durante 
los siguientes cincuenta años, este mineral blando y plateado 
se extrajo solo en cantidades modestas, hasta que se convirtió 
en un material valioso para el sector tecnológico. 

En 2014, Rockwood Holdings, Inc., una Operación minera 
de litio, fue adquirida por la compañía de productos químicos 
Albemarle Corporation por 6.200 millones de dólares. Es la única 
mina de litio en funcionamiento en Estados Unidos. Esto hace 
que Silver Peak sea un sitio de gran interés para Elon Musk y mu- 


chos otros magnates de la tecnología, por una razón: las bateg] 


10H. W, Turner publicó un detallado estudio geológico del área de Silver 
Peak en julio de 1909. Con una hermosa prosa, Turner ensalzó la variedad 
geológica dentro de lo que describió como “pendientes de tobas color crema 
y rosado, y pequeñas colinas de un rojo ladrillo brillante”. H. W. Turner, 
“Contribution to the Geology of the Silver Peak Quadrangle, Nevada”, en 
Bulletin of the Geological Society of America, vol. 20, núm. 1, 1909, p. 228. 
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recargables. El litio es un elemento crucial de su producción. 
Las baterías de los teléfonos inteligentes, por ejemplo, contienen 
alrededor de 8,5 gramos de litio. Cada automóvil eléctrico Tesla 
modelo S necesita alrededor de 63 kilos de litio para la suya."! 
Este tipo de baterías nunca fueron pensadas para suministrar 
energía a una máquina que consumiera tanto cómo un automó- 
vil, pero las baterías de litio son en este momento la única opción 
disponible en el mercado de consumo masivo.!? Todas estas ba- 
terías tienen una vida útil limitada; una vez que se degradan, 
son descartadas como residuos. 

Alrededor de 350 kilómetros al norte de Silver Peak, está la 
gigafábrica de Tesla. Es la fábrica de baterías de litio más grande 
del planeta. Tesla es el mayor consumidor de baterías de iones 
de litio en el mundo; las compra en grandes volúmenes, de Pana- 
sonic y Samsung, y las vuelve a empaquetar en sus autos y car- 
gadores caseros. Se estima que Tesla usa más de 28.000 tonelad 
de hidróxido de litio al año: la mitad del consumo total del pla- 
neta.!3 De hecho, podría describirse con más precisión como una 
empresa de baterías antes que como una de autos.!* La inminente 
escasez de minerales críticos como el níquel, el cobre y el litio 


1 Fred Lambert, “Breakdown of Raw Materials in Tesla's Batteries and 
Possible Breaknecks”, en Electrek, 1° de noviembre de 2016, disponible en 
línea: <https://electrek.co/2016/11/01/breakdown-raw-materials-tesla-bat- 
teries-possible-bottleneck/>. 

12 Kevin Bullis, “Lithium-ion Battery”, en mır Technology Review, 19 de 
junio de 2012, disponible en linea: <https://www.technologyreview. 
com/s/428155/lithium-ion-battery/>. 

13 “Chinese Lithium Giant Agrees to Three-Year Pact to Supply Tesla’, en 
Bloomberg 21 de septiembre de 2018, disponible en linea: <https://www. 
industryweek.com/leadership/article/22026386/chinese-lithium-giant- 
agrees-to-threeyear-pact-to-supply-tesla>. 

14 Ellen Wald, “Tesla Is a Battery Business, Not a Car Business”, en Forbes, 
15 de abril de 2017, disponible en linea: <https://www.forbes.com/sites/ 
ellenrwald/2017/04/15/tesla-is-a-battery-business-not-a-car-business/>. 
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supone un riesgo para la compañía, lo que vuelve muy deseable 
el lago de litio de Silver Peak.!5 Asegurarse el control de la mina 
significaría controlar el suministro interno de Estados Unidos. 

Como muchos han demostrado, el auto eléctrico está lejos 
de ser la solución perfecta a las emisiones de dióxido de carbo- 
no.!6 La minería, la industria siderúrgica, las exportaciones, el 
ensamblaje y el transporte de la cadena de suministro de ba] 
rías han tenido un significativo impacto negativo en el medioam- 
biente y, a su vez, en las comunidades afectadas por su degra- 
dación. Tan solo un pequeño número de sistemas de energía 
solar caseros produce su propia energía. Pero, en la mayoría de 
los casos, cargar un auto eléctrico requiere conectarse a la red 
eléctrica, donde actualmente menos de una quinta parte de toda 
la electricidad de Estados Unidos proviene de fuentes de energía 
renovable.!” De momento, nada de esto ha frenado la determi- 
nación de los fabricantes de autos para competir con Tesla, lo que 
aumenta la presión sobre el mercado de baterías y acelera la eli- 
minación de unas reservas minerales cada vez más escasas. 

La computación y el comercio global dependen de las baterías, 
Seguramente, el término “inteligencia artificial” evoca algoritmo. 
datos y arquitectura de nube; pero nada de eso funcionaría sin 


15 Ernest Scheyder, “Tesla Expects Global Shortage of Electric Vehicle 
Battery Minerals”, en Reuters, 2 de mayo de 2019, disponible en línea: <https:// 
www.reuters.com/article/us-usa-lithium-electric-tesla-exclusive-idUS- 
KCN1S81QS>. 

16 Lizzie Wade, “Tesla's Electric Cars Aren't as Green as You Might Think”, 
en Wired, 31 de marzo de 2016, disponible en linea: <https://www-wired.com/ 
2016/03/teslas-electric-cars-might-not-green-think/>. 

17 Business Council for Sustainable Energy, 2019 Sustainable Energy in 
America. Factbook, 11 de febrero de 2019, disponible en línea: <https://www. 
bcse.org/wp-content/uploads/2019-Sustainable-Energy-in-America-Fact- 
book.pd£>, y us Energy Information Administration, “What Is us Electricity 
Generation by Energy Source?”, disponible eri línea: <https://www.eia.gov/ 
tools/faqs/faq._php?id=427&t=21>. 
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los minerales y los recursos que construyen los componentes 
centrales de la informática. Las baterías recargables de iones de 
litio son esenciales para los dispositivos móviles y las computa- 
doras portátiles, para los asistentes virtuales y la energía de res- 
paldo de los centros de datos. Son la base de Internet y de cualquier 
plataforma comercial que la use, desde los bancosty los comercios 
hasta el mercado de valores. Muchos de los aspectos de la vida 
moderna se han colocado en “la nube”, sin mucha consideración 
por los costos materiales. Nuestro trabajo y vidas privadas, nues- 
tra historia clínica, tiempo libre, entretenimiento, inclinaciones po- 
líticas, todo esto ocurre en el mundo de la arquitectura de redes 
computacionales, al que accedemos desde dispositivos que sos- 
tenemos con una mano, cuyo núcleo se compone de litio. 

La minería que crea la 14 es tan literal como metafórica. El 


nuevo extractivismo de la minería de datos también engloba ie) 


impulsa el viejo extractivismo de la minería tradicional. La es- 
tructura necesaria para alimentar los sistemas de La va mucho 
más allá de la estructura técnica de modelado de datos de múl- 
tiples capas, hardware, servidores y redes. La cadena de sumi- 
nistros completa de la 1a llega hasta el capital, la mano de obra 
y los recursos de la Tierra, y de cada uno de ellos exige una gran 
cantidad.!8 La nube es la columna vertebral de la industria de 
la 14 y está hecha de rocas, litio en salmuera y petróleo crudo. 

En su libro Una geología de los medios, la teórica Jussi Parikka 
sugiere que pensemos en los medios no desde el punto de vista 
de Marshall McLuhan (en el que son extensiones de nuestros 
sentidos), sino como extensiones de la Tierra.!? Los medios com- 


18 Meredith Whittaker et al, ar Now Report 2018, en ai Now Institute, 
diciembre de 2018. 

19 Jussi Parikka, A Geology of Media, Mineápolis, University of Minnesota 
Press, 2015, pp. 7 y 8, y Marshall McLuhan, Understanding Media, The Exten- 
sions of Man, Cambridge, MIT Press, 1994. 
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putacionales ahora participan en procesos geológicos (y clima- 
tológicos), desde la transformación de los materiales de la tierra 
en infraestructuras y dispositivos hasta la alimentación de estos 
nuevos sistemas con petróleo y reservas de gas. Reflexionar sobre 
los medios y la tecnología como procesos geológicos nos permite 
considerar el agotamiento radical de los recursos no renovables 
que se necesitan para impulsar las tecnologías del presente. Cada 
objeto en la red extendida de un sistema de 1a, desde un router 
y una batería hasta un centro de datos, se construye usando 
elementos que requirieron miles de millones de áños para for- 
marse dentro de la Tierra. 

Desde la perspectiva del tiempo profundo, estamos extra- 
yendo la historia geológica de la Tierra para servir a una fracción 
de segundo del tiempo tecnológico contemporáneo, constru- 
yendo dispositivos como el Amazon Echo y el iPhone, que a 
menudo están diseñados para durar solo unos pocos años. La 
Consumer Technology Association señala que la vida útil pro- 
medio de los smartphones no supera los 4,7 años.2 Este ciclo de 
obsolescencia alimenta la compra de más dispositivos, acrecienta 
las ganancias y aumenta los incentivos para el uso de prácticas 
de extracción insostenibles. Después de un lento proceso de de- 
sarrollo, estos minerales, elementos, y materiales pasan por un 
período extraordinariamente rápido de excavación, procesamien- 
to, mezcla, fundición y transporte, atravesando miles de kiló- 
metros durante su transformación. Lo que comienza como un 
mineral extraído del suelo, una vez que se descartan los desechos 
y relaves, se transforma en dispositivos que son usados yasu 
vez descartados. Eventualmente terminan enterrados en Wee 
deros de desechos electrónicos, en lugares como Ghana y Pare: 


20 Chris Ely, “The Life Expectancy of Electronics”, en Consumer Techno- 
logy Association, 16 de septiembre de 2014, 
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tán. El ciclo de vida de un sistema de 1a, desde su nacimie: 
hasta su muerte, tiene muchas cadenas de suministro fractal 
formas de explotación de mano de obra y de recursos naturales 
y concentraciones masivas de poder corporativo y geopolítico. 
Y alo largo de toda la cadena, un continuo consumo en amplia 
escala de energía que mantiene el ciclo funciohando. 

El extractivismo que construyó San Francisco se hace eco en 
las prácticas del sector tecnológico que hoy en día tiene su sede 
en ese lugar?! El enorme ecosistema de la 1a depende de muchos 
tipos de extracción: desde cosechar los datos que provienen de 
nuestras actividades y expresiones diarias hasta agotar recursos 
naturales y explotar la mano de obra alrededor del mundo para 
que esta vasta red planetaria pueda construirse y mantenerse. Y 
la 1a extrae mucho más, de nosotros y del planeta, de lo que se 
sabe en general. El área de la bahía de San Francisco es un nodo 
central del mito de la 1a, pero debemos viajar mucho más lejos 
de Estados Unidos para ver el legado múltiple de daños humanos 
y ambientales que ha alimentado la industria tecnológica. 


LA CAPA MINERALÓGICA 


Las minas de litio de Nevada son solo uno de los lugares de donde 
se extraen materiales de la corteza terrestre para crear 1A. 
muchos otros sitios similares, incluido el salar del suroeste b 


21 Sandro Mezzadra y Brett Neilson usan el término "extractivismo” para 
nombrar a la relación entre distintas formas de operaciones extractivas en 
el capitalismo contemporáneo, que se ven reiteradamente en el contexto 
de la industria de la 14. Véase Sandro Mezzadra y Brett Neilson, “On the 
Multiple Frontiers of Extraction: Excavating Contemporary Capitalism”, en 
Cultural Studies, vol. 31, núm. 2-3, 2017, pp. 185-204, disponible en línea: 
<https://doi.org/10.1080/09502386.2017.1303425>. 
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viano, el lugar más rico en litio del mundo (y, por lo tanto, 
espacio de continuas tensiones políticas), así como algunas zona 
centrales del Congo, Mongolia, Indonesia y los desiertos de Aus- 
tralia Occidental. Estos son los otros lugares donde nace la 1A en 
la gran geografía de la extracción industrial. Sin los minerales de 
estas locaciones, la computación contemporánea simplem 

no funcionaría. Pero estos materiales son cada vez más esca 

En 2020, científicos del Servicio Geológico de Estados Unidos 
publicaron un breve listado de 23 minerales que representan un 
alto “riesgo de suministro” para los fabricantes, lo que significa 
que, si dejaran de estar disponibles, industrias enteras (incluido 
el sector tecnológico) tendrían que parar en seco {Dp minera- 
les cruciales inċluyen los elementos de tierras raras disprosio y 
neodimio, que se usan en los parlantes de los iPhone y en los 
motores de los vehículos eléctricos; germanio, que se usa en dis- 
positivos infrarrojos militares para los soldados y en drones, y 
cobalto, que mejora el funcionamiento de las baterías de litio. 
Hay 17 elementos de tierras raras: lantano, cerio, praseodi- 

mio, neodimio, prometio, samario, europio, gadolinio, terbio, dis- 
prosio, holmio, erbio, tulio, iterbio, lutecio, escandio e itrio. Son 
cesados e integrados en computadoras portátiles y ol 
lo que los hace más pequeños y livianos. Se pueden encontrar en 
pantallas a color, parlantes, lentes de cámara, baterías recargables, 
discos duros, entre otros. Son elementós clave para los sistemas 
de comunicación, desde los cables de fibra óptica y la amplifica- 
ción de señal en las torres de comunicaciones móviles hasta los 
satélites y la tecnología Gps. Pero extraer estos minerales del suelo, 
por lo general, viene acompañado de violencia local y geopolítica. 


2 Nedal Nassar ef al, “Evaluating the Mineral Commodity Supply Risk 
of the us Manufacturing Sector”, en Science Advances, vol. 6, núm. 8, 2020, 
disponible en línea: <https:/fwww.doi.org/10.1 126/sciadv.aay8647>. 
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La minería es, y siempre ha sido, una empresa brutal. Como 
escribe Lewis Mumford: “La minería era la industria clave que 
suministraba el nervio de la guerra e incrementaba los conteni- 
dos metálicos del depósito del capital original, el arca de la gue- 
rra; por otra parte, favorecía la industrialización de las armas y 
enriquecía al financiero con ambos procesos”2*Para entender 
negocio de la 1a, debemos tener en cuenta la guerra, la hambru 

y la muerte que la minería trae consigo. 


La reciente legislación estadounidense que regula nl 


de esos 17 elementos de tierras raras apenas si insinúa la deva 

tación asociada a su extracción. La Ley Dodd-Frank de 2010 se 
centró en reformar el sector financiero tras la crisis de 2008. 
Incluyó una cláusula específica sobre los llamados minerales de 
zona de conflicto, o recursos naturales extraídos de una zona 
de conflicto y luego vendidos para financiar el propio conflicto. 
Las compañías que usaban oro, estaño, tungsteno y tántalo de 
los alrededores de la República Democrática del Congo ahora 
tenían que informar de dónde provenían esos minerales y si la 
venta financiaba a las milicias armadas de la región.** Al igual 
que los “diamantes de zona de conflicto”, el término “minerales 
de zona de conflicto” enmascara el profundo sufrimiento y los 
prolíficos asesinatos en el sector minero. Las ganancias de la 
minería han financiado operaciones militares en el área del 
Congo durante las décadas que han durado los conflictos, lo 
que provocó la muerte de miles y el desplazamiento de millo- 


23 Lewis Mumford, Technics and Civilization, Chicago, University of Chica- 
go Press, 2010, p. 74 [trad. esp.: Técnica y civilización, La Rioja (España), 
itas de Calabaza, 2020]. 
de Véase, por ejemplo, Sa Ayogu y Zenia Lewis, “Conflict Minerals: 
An Assessment of the Dodd-Frank Act”, en Brookings Institution, 3 de octu- 
bre de 2011, disponible en línea: <https://www-brookings.edu/opinions/ 
conflict-minerals-an-assessment-of-the-dodd-frank-act/>. 
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nes.” Es más, las condiciones de trabajo dentro de las minas a 
menudo se han vuelto una forma moderna de esclavitud.26 

Intel necesitó más de cuatro años de esfuerzos sostenidos 
para desarrollar conocimientos básicos sobre su propia cadena 
de suministros.”” Esta es muy compleja, con más de dieciséis mil 
proveedores en más de cien países que proporcionan los materia- 
les directos para los procesos de producción de la empresa, las 
herramientas y las máquinas para las fábricas, así como los servi- 
cios de logística y empaquetado.?8 Además, tanto Intel como Apple 
han sido criticadas por auditar tan solo a las fundiciones -ynoa 
las verdaderas minas— para determinar si los minerales estan 
conectados a los conflictos. Los gigantes tecnológicos estaban 
evaluando plantas de fundición en las afueras del Congo, y las 
auditorías fueron a menudo realizadas por locales. Con lo que 
incluso las certificaciones “libre de conflictos” de la industria tec- 
nológica se pueden poner en duda.2 

Philips, la empresa holandesa de tecnología, también ha decla- 
rado estar trabajando para que su cadena de suministros sea “libre 
de conflictos”. Al igual que Intel, Philips tiene miles de provee- 


25 Jason Burke, “Congo Violence Fuels Fears of Return to 90s Bloodbath”, 
en The Guardian, 30 de junio de 2017, disponible en linea: <https://www. 
theguardian.com/world/2017/jun/30/congo-violence-fuels-fears-of-retum- 
to-90s-bloodbath>. aa 

2 Pulitzer Center on Crisis Reporting, “Congo's Bloody Coltan”, video, 
6 de enero de 2011, disponible en línea: <https://pulitzercenter.org/repor- 
ting/congos-bloody-coltan>. 

27 Ibid. 

78 Transforming Intel's Supply Chain with Real-Time Analytics", en Intel, 
septiembre de 2017, disponible en línea: <https://wwwintel.com/content/ 
dam/www/public/us/en/documents/white-papers/transforming-supply- 
chain-with-real-time-analytics-whitepaper pdf>. 

29 Véase, por ejemplo, una carta abierta de setenta signatarios, criticando 
las limitaciones del proceso de certificación de la llamada condición libre 
de conflictos: “An Open Letter’, disponible en línea: <https://ethuin files. 
wordpress.com/2014/09/0909201 4-open-letter-final-and-list.pdf>. 
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dores, cada uno de los cuales proporciona componentes para los 
procesos de fabricación de la empresa.*° Esos proveedores se 
vinculan, a su vez, en sentido descendente, a miles de fabricantes 
de componentes que adquieren materiales tratados desde doce- 
nas de fundiciones distintas. Las fundiciones, por su lado, compran 
sus materiales a un número indeterminado de cémerciantes que 
lidian directamente con operaciones mineras, tanto legales como 
ilegales, para obtenerlos diversos minerales que terminan siendo 
parte de los componentes de una computadora! 

Según el fabricante de computadoras Dell, las complejidades 
de la cadena de suministros de metales y minerales plantean d 
safíos prácticamente insuperables a la hora de producir conp o 
nentes electrónicos libres de conflicto. Los elementos son blan- 
queados a través de un número tan vasto de entidades a lo largo 
de la cadena que obtener su procedencia resulta imposible, o al 
menos eso aseguran los fabricantes del producto final y niegan 
plausiblemente cualquier acusación de que impulsan sus ganan- 
cias con prácticas de explotación.?2 


30"Responsible Minerals Policy and Due Diligence”, en Philips, disponi- 
ble en línea: <https://www.philips.com/a-w/about/environmental-social- 
governance/environmental/supplier-sustainability/responsible-sourcing- 
of-minerals>. S 

31En The Elements of Power, David S. Abraham describe de la siguiente 
manera las redes invisibles de los comerciantes de metales raros en las 
cadenas de suministro de los productos electrónicos: “La red para llevar 
metales raros, desde la mina a tu computadora portátil, viaja a través de 
una cadena turbia de comerciantes, procesadores y fabricantes de compo- 
nentes. Los comerciantes son los intermediarios que hacen mucho más que 
comprar y vender metales raros: ayudan a regular la información y son el 
eslabón escondido que ayuda a navegar la red entre las plantas de metales 
y los componentes de nuestras computadoras portátiles”. David S. Abraham, 
The Elements of Power. Gadgets, Guns, and the Struggle for a Sustainable 
Future in the Rare Metal Age New Haven, Yale University Press, 2017, p. 89. 

22 “Responsible Minerals Sourcing’, en Dell, disponible en línea: <https:// 
www.dell. com/learn/us/en/uscorp 1/conflict-minerals?s=corp>. 
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Al igual que con las minas y San Francisco en el siglo XIX, 
la extracción para el sector tecnológico se lleva a cabo mante- 
niendo los costos reales fuera del campo visual. La ignorancia 
acerca de la cadena de suministros es inherente al capitalismo, 
desde la forma en que los negocios se protegen a sí mismos por 
medio de contratistas y proveedores externos hasta el modo en 
que los bienes se comercializan y anuncian a los consumidores. 
Más que una negación plausible, se ha vuelto una forma de mala 
fe muy practicada: la mano izquierda no puede saber lo que está 
haciendo la mano derecha, lo que requiere formas de distancia- 
miento cada vez más sofisticadas, tan barrocas como complejas. 

Si bien uno de los casos más extremos de extracción dañina 
es la minería para financiar la guerra, la mayoría de los mine- 
rales no proviene de zonas bélicas directas. Esto no quiere decir, 


sin embargo, que estén libres de sufrimiento humano y Ke 


trucción ambiental. El enfoque en los minerales de zona 

conflicto, aunque importante, también ha sido usado para des- 
viar la vista de los daños de la minería a gran escala. Si visitamos 
los principales sitios de extracción de minerales para sistemas 
computacionales, encontramos las historias reprimidas de ríos 
decolorados con ácido y paisajes desarraigados, y de extinción 


de especies de plantas y animales que alguna vez fueron vitales 
para la ecología local. 


LAGOS NEGROS Y LÁTEX BLANCO 


En Baotou, la ciudad más grande de la Mongolia Interior, hay un 
lago artificial relleno con barro tóxico negro. Apesta a azufre y 
se extiende hasta donde alcanza la vista, cubriendo casi 9 kiló- 
metros de diámetro. El lago negro contiene más de 180 millones 
de toneladas de desperdicio proveniente del procesamiento de 
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minerales.33 Fue creado por el vertido de las minas cercanas de 
Bayan Obo, que se estima que contienen casi el 70% de las re- 
servas de minerales de tierras raras del mundo. Es el depósito de 
elementos de tierras raras más grande del planeta.3* 

China suministra el 95% de los minerales de tierras raras dy) 
mundo. Su dominio del mercado, como señala el escritor Tim 
Maughan, le debe mucho menos a la geología que a la disposición 
de ese país de asumir el daño ambiental de la extracción.* A pe- 
sar de que los minerales de tierras raras como el neodimio y el 
cerio son relativamente comunes, para hacerlos utilizables es 
necesario pasar por el peligroso proceso de disolverlos en gran- 
des volúmenes de ácido sulfúrico y nítrico. Estos baños ácidos 
producen reservas de desechos venenosos que llenan el lago 
muerto de Baotou. Este es solo uno de los lugares que están 
llenos hasta el borde de lo que la académica de estudios ambien- 
tales Myra Hird llama “los desechos que queremos olvidar”.36 

Hasta la fecha ningún otro metal puede igualar los sin, 
lares usos electrónicos, ópticos y magnéticos de los elementos 
de tierras raras, pero la proporción entre minerales utilizables y 
toxinas de desecho es extrema. El estratega de recursos natura- 
les David Abraham describe la extracción en Jiangxi, China, de 
disprosio y terbio, que sé utilizan en una variedad de dispositi- 


33 Zhiyi Liu, “Chinese Mining Dump Could Hold Trillion-Dollar Rare 
Earth Deposit”, en China Dialogue, 14 de diciembre de 2012, disponible en 
línea: <https://www.chinadialogue.net/article/show/single/en/5495-Chinese- 
mining-dump-could-hold-trillion-dollar-rare-earth-deposit>. 

34"Bayan Obo Deposit. Inner Mongolia, China”, en Mindat.org, disponible 
en línea: <https://www.mindat.org/loc-720.html>, 

35 Tim Maughan, “The Dystopian Lake Filled by the World's Tech Lust”, 
en BBC Future, 2 de abril de 2015, disponible en linea: <https://www.bbc. 
com/future/article/20150402-the-worst-place-on-earth>. 

36 Myra J. Hird, “Waste, Landfills, and an Environmental Ethics of Vulne- 
rability”, en Ethics and the Environment, vol. 18, núm. 1, 2013, p. 105, dispo- 
nible en línea: <https://www.doi.org/10.2979/ethicsenviro.18.1.105>. 
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vos de alta tecnología. Escribe: “Solo el 0,2% de la arcilla extraída 
contiene los valiosos elementos de tierras raras. Esto significa 
que el 99,8% de la tierra extraída en la minería de tierras raras 
se descarta como desecho y a eso sele llama ‘relave’, que es luego 
arrojado de vuelta a las colinas y los arroyos”, lo que crea nuevos 
contaminantes, como el amonio.?” Para refinar una tonelada de 
esos elementos de tierras raras “la Sociedad China de Tierras 
Raras estima que el proceso produce 75.000 litros de agua ácida 
y una tonelada de residuos radiactivos”.38 

A casi 5.000 kilómetros al sur de Baotou están las pequeñas 
islas indonesias de Bangka y Belitung, frente a la costa de Suma- 
tra. Bangka y Belitung producen el 90% del estaño de Indonesia, 
que se utiliza en semiconductores. Indonesia es el segundo pro- 
ductor más grande de ese metal en el mundo, solo después de 
China. La compañía nacional de estaño de Indonesia, PT Tim: 
lo suministra directamente a compañías como Samsung, así com 
a los fabricantes de soldaduras Chernan y Shenmao, que a su 
vez lo suministran a Sony, LG y Foxconn: todos proveedores de 
Apple, Tesla y Amazon.?? 

En estas pequeñas islas, los mineros del mercado gris, que 
no están empleados oficialmente, se sientan en pontones impro- 
visados con sus cañas de bambú para raspar el fondo marino 
antes de sumergirse y succionar el estaño de la superficie valién- 
dose de tubos gigantes similares a los de las aspiradoras. Los 
mineros venden el estaño que encuentran a intermediarios, que 
también recolectan minerales de los mineros que trabajan en 
minas autorizadas y luego los mezclan para venderlo a compa- 


37 David S, Abraham, op. cit, p. 175. 

38 Ibid, p. 176. 

3° Cam Simpson, “The Deadly Tin inside Your Smartphone”, en Bloomberg, 
24 de agosto de 2012, disponible en línea: <https://www.bloomberg.com/ 
news/articles/2012-08-2 3/the-deadly-tin-inside-your-smartphone>. 
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ñías como Timah.* Desregulado por completo, el proceso se 
desarrolla lejos del alcance de cualquier protección laboral o 
ambiental. La periodista de investigación Kate Hodal informa: 


La minería de estaño es un comercio lucrativo pero destructivo 
que ha marcado el paisaje de la isla, arrasádo sus granjas y 
bosques y acabado con su población de peces y arrecifes de 
coral, y mermado el turismo en sus hermosas playas de alinea- 
das palmeras. El daño se ve más claramente desde el aire, desde 
donde es posible ver pequeños focos boscosos apiñados en 
medio de enormes extensiones de tierra anaranjada estéril. Y 
donde no dominan las minas, la tierra está salpicada de tumbas, 
muchas con los cuerpos de los mineros que han muerto cavando 
por estaño a lo largo de los siglos.*! 


Las minas están por todas partes: en patios, en el bosque, a los 
costados del camino, en las playas. Es un paisaje en ruinas. 

Una práctica común de la vida es enfocarse en el mundo que 
está inmediatamente frente a nosotros, el que vemos, olemos y 
tocamos cada día. Nos enraíza allí donde estamos, con nuestras 
comunidades y nuestros rincones y preocupaciones conocidas. 
Pero para ver la cadena de suministros de la 1a completa, debe- 
mos buscar patrones haciendo un barrido global, además de ser 
sensibles al modo en que las historias y los daños específicos cam- 
bian de lugar en lugar y están, sin embargo, interconectados pro- 
fundamente por las múltiples fuerzas de extracción. 

Podemos ver esos patrones en el espacio, pero también los po- 
demos encontrar a lo largo del tiempo. Los cables telegráficos trans- 


40 Kate Hodal, “Death Metal: Tin Mining in Indonesia”, en The Guardian, 
23 de noviembre de 2012, disponible en línea: <https://www.theguardian. 
com/environment/2012/nov/23/tin-mining-indonesia-bangka>. 

2 Ibid. 
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atlánticos son la infraestructura esencial que transporta datos 
entre continentes, un emblema global de la comunicación y el 
capital. También son un producto material del colonialismo, con 
sus patrones de extracción, conflicto y destrucción ambiental. Al 
final del siglo X1x, un árbol particular del sudeste asiático, Ilama- 
do Palaquium gutta, se volvió el centro de un boom de cableado. 
Estos árboles, que se encuentran principalmente en Malasia, pro- 
ducen un látex natural de color blanco lechoso llamado gutaper- 
cha. Después de que el científico inglés Michael Faraday publicara 
un estudio en la Philosophical Magazine en 1848 acerca del uso 
de este material como aislante eléctrico, la gutapercha se volvió 
rápidamente un favorito del mundo de la ingeniería. Los inge- 
nieros lo veían como la solución perfecta para aislar los cables 
telegráficos de modo que soportaran las duras y cambiantes con- 
diciones en el manto oceánico. Los hilos retorcidos de alambre 
de cobre necesitaban cuatro capas de la savia orgánica y suave 
para estar protegidos de la incursión del agua y poder transpor- 
tar sus corrientes eléctricas. 

A medida que el negocio telegráfico submarino crecía, tam- 
bién lo hizo la demanda de troncos de Palaquium gutta. El his- 
toriador John Tully relata que a los trabajadores locales malayos, 
chinos y dayacos se les pagaba poco por el peligroso trabajo de 
talar los árboles y recolectar lentamente el látex.2 Luego este 
era procesado y vendido, a través de los mercados comerciales 
de Singapur, al mercado británico, donde era transformado, ent 
otras cosas, en kilómetros y kilómetros de fundas de cable sub- 
marino que envolvían el globo. Como ha escrito la experta en 
medios Nicole Starosielski: “Los estrategas militares veían los 


“John Tully, “A Victorian Ecological Disaster: Imperialism, the Telegraph, 
and Gutta-Percha”, en Journal of World History, vol. 20, núm. 4, 2009, pp. 559- 
579, disponible en línea: <https://doi.org/10.1353/jwh.0.0088>. 
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cables como la manera más eficaz y segura de comunicarse con 
las colonias y, por consiguiente, controlarlas”.** Las rutas de los 
cables submarinos todavía demarcan hoy las tempranas redes 
coloniales entre el centro y la periferia del imperio.** 

Un Palaquium gutta maduro podía producir alrededor de 
300 gramos de látex. Pero, en 1857, el primer gable transatlán- 
tico medía cerca de 3.000 kilómetros y pesaba 2.000 toneladas, 
lo que requería 250 toneladas de gutapercha. Producir tan solo 
una tonelada de este material requería alrededor de 900.000 
troncos de árbol. Las junglas de Malasia y Singapur fueron 
arrasadas; para principios de la década de 1880, el Palaquium 
gutta había desaparecido. En un último esfuerzo por salvar su 
cadena de suministros, los británicos pasaron una ley en 1883 
para detener la cosecha del látex, pero el árbol ya estaba prác- 
ticamente extinto.* 

En los albores de la sociedad de la información global, el 
desastre ambiental victoriano de la gutapercha muestra cómo, 
se entrelazan las relaciones entre la tecnología y sus materiales K] 
entornos y prácticas laborales.*6 Así como los victorianos pre- 
cipitaron un desastre ecológico debido a sus primeros cables, 
también hoy la minería y las cadenas de suministros globales 
ponen aún más en peligro el delicado equilibrio ecológico de nues- 
tra época. ` 

Pueden encontrarse oscuras ironías en la prehistoria de la com- 
putación planetaria. Actualmente, los sistemas de 14 a gran escala 


43 Nicole Starosielski, The Undersea Network, Durham, Duke University 
Press, 2015, p. 34. 

44 Véase Nick Couldry y Ulises A. Mejías, The Costs of Connection: How 
Data Is Colonizing Human Life and Appropriating It for Capitalism, Stanford, 
Stanford University Press, 2019, p. 46. 

45 Nick Couldry y Ulises A. Mejias, op. cit, p. 574. 

46 Para un excelente recuento de la historia de los cables submarinos, 
véase Nicole Starosielski, The Undersea Network, op. cit. 


72 ATLAS DE INTELIGENCIA ARTIFICIAL 


están impulsando formas de extracción ambiental, de datos y 
humana, pero desde la era victoriana en adelante la computación 
algorítmica surgió de los deseos de administrar y controlar gue- 
rras, población y el cambio global. La historiadora Theodora 
Dryer describe que la figura fundacional de la estadística mate- 
mática, el científico inglés Karl Pearson, buscó resolver las incer- 
tidumbres de la planificación y la gestión de datos desarrollando 
nuevas arquitecturas de datos, que incluían desviaciones están- 
dar y técnicas de correlación y regresión. Sus métodos estaban, 
a la vez, profundamente enraizados en la ciencia: racial, pues 
Pearson, al igual que su mentor, el estadístico y fundador de la 
eugenesia Sir Francis Galton, creía que las estadísticas podían 
ser “el primer paso para investigar los posibles efectos de un 
proceso selectivo sobre cualquier característica de una raza”47 
Como escribe Dryer, 


[a] fines de los años treinta estas arquitecturas de datos (técni- 
cas de regresión, desviación estándar y correlaciones) se vol- 
vieron las herramientas dominantes a la hora de interpretar la 
información social y estatal en el escenario mundial. Al rastrear 
los nodos y las rutas del comercio global, el “movimiento de es- 
tadísticas matemáticas” se volvió una inmensa empresa, 16 


empresa que siguió extendiéndose después de la Segunda Gue- 
rra Mundial, ya que se empezaron a usar nuevos sistemas com- 
putacionales en esferas, como la del pronóstico del tiempo du- 
rante los periodos de sequía, para obtener mayor productividad 


4” Theodora Dryer, “Designing Certainty: The Rise of Algorithmic Com- 
puting in an Age of Anxiety 1920-1970", tesis doctoral, University of Cali- 
fornia San Diego, 2019, p. 45. 

48 Ibid, p. 46. 
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Palaquium gutta (gutapercha). 


de la industria agrícola a gran escala.*? Desde esta perspectiva, 
la computación algorítmica, la estadística computacional y la 14 
fueron desarrolladas en el siglo xx para abordar desafíos socia- 
les y ambientales, pero después serían utilizadas para intensifi- 
car la extracción y la explotación industriales y agotar aún más 
los recursos naturales. 


EL MITO DE LA TECNOLOGÍA VERDE 
Los minerales son la columna vertebral de la 1a, pero su Be 
sigue siendo la energía eléctrica. Cuando se piensa en la com- 


putación avanzada, rara vez se evoca la huella de carbono, los 


%9 Ibid, pp. 266-268. 
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combustibles fósiles o la contaminación; metáforas como “la 
nube” implican algo delicado que flota como parte de una indus- 
tria natural y verde. Los servidores están ocultos en centros 
de datos anodinos y sus cualidades contaminantes son mucho 
menos visibles que las ondulantes chimeneas de las centrales 
termoeléctricas a carbón. El sector tecnológico hace una propa- 
ganda ruidosa de sus políticas ambientales, iniciativas susten- 
tables y planes para lidiar con problemas relacionados con el 
clima utilizando la 1a. Todo es parte de una muy trabajada ima- 
gen pública que busca vender la idea de una industria tecnoló- 
gica sustentable sin emisiones de carbono. Pero, en realidad, se 
requieren colosales cantidades de energía para hacer funcionar 
la infraestructura computacional de los servidores de Amaz 
Web Service o de Azure de Microsoft, y la huella de carbono 
de los sistemas de 1a que funcionan en esas plataformas está 
creciendo.5! 

En A Prehistory of the Cloud, Tung-Hui Hu escribe que “la 
nube es una tecnología de extracción intensiva de recursos, que 
convierte agua y electricidad en poder computacional, dejando 
tras de sí una cuantiosa cantidad de daños medioambientd 
que luego oculta a la vista”.5? Lidiar con esta infraestructura de 
uso intensivo de energía se ha vuelto úna preocupación funda- 


f % Cada vez más personas le están prestando atención a este problema, 
incluyendo los investigadores de Ar Now. Véase Roel Dobbe y Meredith 
Whittaker, “ar and Climate Change: How They're Connected, and What We 
Can Do about It’, en Medium (blog), 17 de octubre de 2019, disponible en 
linea: <https://medium.com/@AIN 'owInstitute/ai-and-climate-change-how- 
theyre-connected-and-what-we-can-do-about-it-6aa8d0f5b32c>. 

51 Véase, como ejemplo de las primeras investigaciones sobre esta área, 
Nathan Ensmenger, “Computation, Materiality, and the Global Environment” 
en IERE Annals of the History of Computing vol. 35, núm. 3, 2013 p 80, 
disponible en línea: <https://www-doi.org/10.1109/MAHC.2013.33>. SECH 
i ae apii Hu, A Prehistory of the Cloud, Cambridge, MIT Press, 2015, 
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mental. Sin duda, la industria ha hecho importantes esfuerzos 

para que los centros de datos sean energéticamente más eficien- 

tes y para aumentar el uso de energías renovables, Pero la h D 
lla de carbono de la infraestructura computacional mundial ya 
alcanzó a la de la industria de la aviación en su apogeo, y está 
aumentando a mayor ritmo.% Las predicciones vatian y, mientras 
investigadores como Lotfi Belkhir y Ahmed Elmeligi estiman 
que para 2040 el sector tecnológico contribuirá con el 14% de 
las emisiones globales de gases de efecto invernadero, un equipo 
en Suecia señala que, para 2030, tan solo las demandas eléctri- 
cas de los centros de datos habrán aumentado 15 veces. 

Al mirar de cerca la capacidad computacional que se necesita 
para construir modelos de 1a, podemos ver el alto costo que 
significa para el planeta el deseo de aumentar de manera expo- 
nencial la velocidad y la precisión. Las demandas en materia 
de procesamiento a la hora de entrenar modelos de 1 y, por lo 
tanto, su consumo de energía son todavía un área emergente 
de la investigación. Uno de los primeros artículos en este campo 
fue producido por la investigadora de 1a Emma Strubell y su 
equipo en la University of Massachusetts Amherst en 2019. En- 
focados en tratar de comprender la huella de carbono de los 


53 Nicola Jones, “How to Stop Data Centres from Gobbling Up the World’s 
Electricity” en Nature, 12 de septiembre de 2018, disponible en linea: <https:// 
wwwaature.com/articles/d4 1586-018-06610-y>. Se han hecho algunos avan- 
ces para mitigar estas preocupaciones por medio del uso de prácticas ener- 
géticas más eficientes, pero se mantienen los significativos desafíos a largo 
plazo. Véase Eric Masanet et al, “Recalibrating Global Data Center Energy-Use 
Estimates”, en Science, vol. 367, núm. 6481, 2020, pp. 984-986. 

54 Lotfi Belkhir y Ahmed Elmeligi, “Assessing 1CT Global Emissions Foot- 
print: Trends to 2040 and Recommendations", en Journal of Cleaner Produc- 
tion, vol. 177, 2018, pp. 448-463, y Anders A. E. Andrae y Tomas Edler, “On 
Global Electricity Usage of Communication Technology: Trends to 2030", en 

Challenges, vol. 6, núm. 1, 2015, pp. 117-157, disponible en linea: <https:// 
www.doi.org/10.3390/challe6010117>. 
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modelos de procesamiento de lenguaje natural (PLN), esbozaron 
algunas estimaciones ejecutando modelos de 1a durante cientos 
de miles de horas computacionales. Los números iniciales 
resultaron sorprendentes. El equipo de Strubell descubrió que, 
al ejecutar un solo modelo de PLN, se producían más de 660.000 
toneladas de emisiones de dióxido de carbono, el equivalente 
a toda la vida útil de cinco automóviles a gasolina (incluida su 
fabricación) o a 125 viajes de ida y vuelta desde Nueva York a 
Beijing.56 

Aún peor, los investigadores hicieron ver que este modelo 
era, cuando menos, una estimación estándar optimista. No refleja 
la verdadera escala comercial a la que operan compañías como 
Apple o Amazon, quienes extraen conjuntos de datos de Internet 
y alimentan sus propios modelos de PLN para que sistemas de 
IA como Siri o Alexa suenen más humanos. Sin embargo, se des- 
conoce la cantidad exacta de consumo de energía de los mode- 
los de 1 del sector tecnológico; esa información se mantie: 
como un secreto corporativo fuertemente resguardado. a) 
también, la economía de datos se basa en mantener una igno- 
rancia ambiental. 

En el campo de la 1a, maximizar los ciclos computacionales 
para mejorar el rendimiento es una práctica común, según la 
creencia de que cuanto más grande, mejor. Rich Sutton, de Deep- 
Mind, lo describe de esta manera: “Los métodos que hacen uso 
de la computación son al final los más efectivos, y por un amplio 
margen”.” La técnica computacional de las pruebas de fuerza 


5 Emma Strubell, Ananya Ganesh y Andrew McCallum, “Energy and 
Policy Considerations for Deep Learning in NLP” en arXiv, 5 de junio de 
2019, disponible en línea: <https://arxiv.org/abs/1906.02243>. 

56 Ibid. 

57 Rich Sutton, “The Bitter Lesson”, 13 de marzo de 2019, disponible en 
línea: <http://www.incompleteideas.net/IncIdeas/BitterLesson-html>. 
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bruta al ejecutar entrenamientos de 1a o la recolección sistema- 
tica de más datos y el uso de más ciclos de computadora para 
alcanzar un mejor resultado han impulsado un fuerte aumento 
en el consumo de energía. Openar estimó que, desde 2012, la 
cantidad de cómputos usados para entrenar a un solo modelo 
de 14 cada año se ha multiplicado por diez. Esse debe a que 
los programadores “encuentran más y más maneras de usar más 
chips en paralelo y están cada vez más dispuestos a pagar el coste 
económico que eso conlleva”.58 Pensar solo en términos econó- 
micos no deja ver que se pagará un costo mayor, local y ambien- 
tal, al quemar ciclos de computadora para crear eficiencias cre- 
cientes. Esa tendencia hacia un “maximalismo informático” tido) 
profundos impactos ecológicos. 

Los centros de datos se encuentran entre los mayores O 
sumidores de electricidad del mundo.*? Alimentar esta máqu 
de varios niveles requiere energía a carbón, gas, nuclear o reno- 
vable. Algunas compañías están respondiendo a la creciente 
alarma sobre el consumo a gran escala de energía por parte de 
la computación, mientras que Apple y Google afirman ser emi- 
sores neutrales de carbono (lo que significa que compensan sus 
emisiones de carbono comprando créditos) y Microsoft promete 
que en 2030 será un emisor negativo. Sin embargo, los trabaja- 
dores de esas compañías han presionado para reducir las emi- 
siones en general, en lugar de comprar indulgencias por una 
culpa medioambiental. Además, Microsoft, Google y Amazon 


58“a1 and Compute”, en Openar, 16 de mayo de 2018, disponible en línea: 
<https://openai.com/blog/ai-and-compute/>. , 

59 Gary Cook et al, Clicking Clean. Who Is Winning the Race to Build a 
Green Internet? Washington Dc, Greenpeace, 2017, disponible en línea: 
<http://www.clickclean.org/international/en/>. 

$0 Shirin Ghaffary, “More Than 1.000 Google Employees Signed a Letter 
Demanding the Company Reduce Its Carbon Emissions”, en Recode, 4 de 
noviembre de 2019, disponible en línea: <https://www.vox.com/recode/ 
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otorgan las licencias de sus plataformas de la a compañías de 
combustibles fósiles para ayudarlas a ubicar y extraer combus- 
tible del suelo, lo que impulsa todavía más a la industria hacia 
una mayor responsabilidad en el cambio climático antropogénico, 

Más allá de Estados Unidos, se elevan otras nubes de dióxido 
de carbono. La industria de centros de datos de China obtiene 
el 73% de su energía del carbón y, en 2018, emitió alrededor de 
99 millones de toneladas de CO. Y se espera que el consumo de 
electricidad por parte de la infraestructura de los centros de datos 
de China aumente en dos tercios para 2023.52 Greenpeace ha 


dado la alarma respecto a la colosal demanda de energía de las e 


compañías tecnológicas, argumentando que “las compañías más 
prominentes de China, incluidas Alibaba, Tencent y GDS, tienen 
que aumentar dramáticamente la adquisición de energías lim- 
pias, así como divulgar sus datos de uso de energia”.® Pero los 
impactos duraderos de la energía a carbón están por todas par- 
tes y llegan más lejos que cualquier frontera nacional. La natu- 
raleza planetaria de la extracción de recursos, así como sus con- 


2019/11/4/20948200/, google-employees-letter-demand-climate- change- 
fossil-fuels-carbon-emissions>. Véase también “Apple Commits to Be 100 
Percent Carbon Neutral for Its Supply Chain and Products by 2030”, en 
Apple, 21 de julio de 2020, disponible en;línea: <https://www.apple.com/ 
au/newsroom/2020/07/apple-commits-to-be-100-percent-carbon-neutral- 
for-its-supply-chain-and-products-by-203 0/>; Roger Harrabin, “Google Says 
Its Carbon Footprint Is Now Zero" en BBC News, 14 de septiembre de 2020, 
disponible en linea: <https://www.bbc.com/news/technology-54141899>, 
y Brad Smith, “Microsoft Will Be Carbon Negative by 2030", en Official Mi- 
crosoft Blog (blog), 20 de enero de 2020, disponible en línea: <https://blogs. 
microsoft.com/blog/2020/01/1 6/microsoft-will-be-carbon-negative-by- 
2030/>. 

* “Powering the Cloud: How China's Internet Industry Can Shift to Renew- 
able Energy’, en Greenpeace, 9 de septiembre de 2019, disponible en linea: 
<hitps://storage googleapis.com/planet4-eastasia-stateless/2019/ 11/7bfe9069- 
7bfe9069-powering-the-cloud- -english-briefing.pdf>. 

8 Ibid, 

$3 Ibid, 
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secuencias, superan por mucho lo que el Estado nación fue 
iseñ ‘a abordar. 
a nos cuenta otra historia sobre el verdadero costo 
de la computación. La historia del uso del agua en Estados Uni- 
dos está llena de batallas y pactos secretos y, al igual que ocurre 
con la computación, estos acuerdos se han manténido en secreto. 
Uno de los centros de datos más grandes de este país pertenece 
a la National Security Agency (Nsa) en Bluffdale, Utah. Abierto 
desde fines de 2013, el Intelligence Community Comprehensive 
National Cybersecurity Initiative Data Center [Centro de Datos 
de la Iniciativa Nacional de Ciberseguridad Integral de la Comu- 
nidad de Inteligencia] no se puede visitar Geh 
manejando por los suburbios adyacentes, encontré un callejón 
sin salida en una colina llena de artemisa y, desde alt, pude tener 
una visión más clara de la extensa instalación de mas de 1 10.000 
metros cuadrados. El sitio posee una especie de poder SEH 
que alude a la nueva era de captura de datos por parte de 
gobierno, habiendo aparecido en películas como Citizenfour y 
en miles de noticias sobre la NSA. En persona, sin embargo, parece 
anodino y prosaico: un ee gigante combinado con un 
icinas gubernamentales. 
WEE el ain comenzó incluso antes de que el centro 
de datos abriera oficialmente, debido a su ubicación en la zona de- 
sértica de Utah.51 Los periodistas locales querían confirmar que 
el consumo estimado de 1,7 millones de galones de agua al dia 
fuera correcto, pero la Nsa en un principio se negó a compartir 
sus datos de uso de agua, eliminó todos los detalles de los regis- 
tros públicos y afirmó que esa información era un asunto de segu- 


: The Utah Data Center”, en 
$ Mél Hi “Data Flows and Water Woes: SD 
Bie Dala and Socieh, diciembre de 2015, disponible en línea: <https://www. 
doi.org/10.1177/2053951715592429>. 
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ridad nacional. Activistas contra la vigilancia crearon manuales 
que abogaban por el fin del apoyo material de agua y energía 
para asuntos de vigilancia, y formularon una estrategia pensando 
que, si se controlaba el uso del agua, se podía cerrar la instala- 
ción.S Pero Bluffdale ya había negociado un trato de varios años 
con la Nsa, mediante el cual la ciudad le vendía agua a tarifas 
muy por debajo de la media a cambio de la promesa del creci- 
miento económico que la instalación le traería a la región.ó La 
geopolítica del agua ahora está profundamente mezclada con 
los mecanismos y las Políticas de los centros de datos, la com- 
putación y el poder, en todos los sentidos. Desde las áridas lade- 
ras que asoman al depósito de datos de la NSA, toda la impug- 
nación y ofuscación sobre el agua tienen sentido: este paisa 
tiene un limite y el agua que se usa para enfriar los Soen el 
se le está quitando a las comunidades y alos hábitats que la ne- 
cesitan para sobrevivir. 

Tal como el trabajo sucio del sector minero se llevaba a cabo 
lejos de las compañías y de los habitantes de las ciudades que 
más se beneficiaban de él, de igual manera la mayoría de o 
centros de datos están alejados de los principales núcleos p 
blacionales, ya sea en el desierto o en zonas semiindustriales no 
habitadas. Esto contribuye a nuestra sensación de que la nube 
está fuera de nuestro campo visual, cómo algo abstracto, cuani 
en realidad es algo material que afecta el ambiente y el clima 
de formas que están lejos de ser reconocidas o consideradas. La 
nube es terrestre Y, Para que siga creciendo, se requieren rec) 


“Off Now: How Your State Can Help Support the Fourth Amendment’, 
en Off Now.org, disponible en linea: <https://s3.amazonaws.com/TAChan. 
dbooks/OffNow-Handbook pdf>, 

$ Nate Carlisle, “Shutting Off nsa’s Water Gains Support in Utah Legis- 
lature’, en Salt Lake Tribune, 20 de noviembre de 2014, disponible en linea: 
<htsps://archive.sitrib.com/article php?id=1845843&itype-CMSIDS 
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sos en expansión y capas de logística y transporte que están eo] 
constante movimiento. 


LA CAPA LOGÍSTICA S 
Hasta aquí, hemos considerado el aspecto material de lata, beta 
los elementos de tierras raras hasta la energía. Al basar nue: = 
análisis en las materialidades específicas de la 14 —las paok S 
lugares, la gente—, podemos ver mejor cómo operan me p E 
dentro de sistemas de poder más amplios. Pensemos, por GE 
en la maquinaria logística global que mueve a lo largo E p 3 
neta minerales, combustible, hardware, trabajadores y ispos 
tivos de 1A de consumo.” El vertiginoso espectáculo de logística 
y producción desplegado por empresas como Amazon no a 
posible sin el desarrollo y la aceptación generalizada de un objeto 
metálico estandarizado: el contenedor de carga. Al igual m 
cables submarinos, los contenedores de carga unen a las in i 4 
trias globales de comunicación, transporte y capital, un SE 
material de lo que los matemáticos llaman “transporte óptimo”; 


67 La materialidad es un concepto muy complejo y Seier eist ER 
literatura que la aborda, como los estudios de ciencia, tecnolog i Teca 
logía y la comunicación. En una de sus acepciones, eg 
See a lo que Leah Lievrouw describe como ' el Sege 7 2 e eé 
tencia física de objetos y artefactos, que los hacen útiles y Kor e Ce E 
iertos propósitos bajo ciertas condiciones”. Leah Lievrouw, nn. 
Gilles A Pablo J. Boczkowski y Kirsten A. Foot (eds.), mer ec is gies 
gege on Communication, peace errr sone ge h Ge ee 
. 25. Pero como han escrito Dian ys è na- 
Seng siempre es algo más que a aa Ta 
a ge Nee Coole y Samantha Frost (eds), New 
Taral. Ortala, Agency, and Politics, Durham, Duke University Press, 


2012, p. 9. 
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en este caso, una optimización del espacio y de los recursos en 
las rutas comerciales del mundo. 

Los contenedores de carga estandarizados (construidos a 
partir de los elementos básicos de la tierra, como el carbón yel 
hierro forjado en acero) permitieron la explosión de la industria 
moderna de transporte de mercancías, que a su vez ha hecho 
posible visualizar y modelar el planeta como si fuera una sola 
fábrica gigante. El contenedor de carga es la única unidad de 
valor, como una pieza de lego, que puede viajar miles de ki- 
lómetros antes de llegar a su destino final; parte modular de un 
sistema de entregas mucho más grande. En 2017 la capacidad 
de los cargueros alcanzó los casi 250 millones de toneladas de 
porte bruto, dominadas por empresas navieras gigantes como 
Maersk de Dinamarca, la Mediterranean Shipping Company de 
Suiza y el grupo francés CMA CGM, cada uno con cientos de car- 
gueros.$ Para estas empresas, el transporte de carga es una forma 
relativamente barata de navegar el sistema vascular de la fábrica 
global, aunque oculta otros costos externos bastante más gran- 
des. Del mismo modo en que tienden a ignorar las realidades y 
los costos físicos de la infraestructura de la 14, la cultura popu- 
lar y los medios rara vez se ocupan de la industria del transporte 
de mercancías, La escritora Rose George llama a esto “ceguera 
oceánica”.9 ` 

En años recientes, los cargueros Produjeron un 3,1% de las 
emisiones globales de carbono anuales, más que la totalidad de 


$ United Nations Conference on Trade and Development, Review of 
Maritime Transport, 2017, disponible en línea: <https://unctad.org/en/Publi- 
cationsLibrary/rmt2017_en.pdf>. 

“Rose George, Ninety Percent of Everything. Inside Shipping, the Invisible 
Industry That Puts Clothes on Your Back, Gas in Your Car, and Food on Your 
Plate, Nueva York, Metropolitan, 2013, P. 4 [trad. esp.: Noventa por ciento de 
todo. La industria invisible que te viste, te llena el depósito de gasolina y pone 
comida en tu plato, Madrid, Capitán Swing, 2014]. 
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emisiones de Alemania.” Para minimizar sus costos internos, 
la mayoría de las compañías de transporte de contenedores usan 
enormes cantidades de combustible de baja calidad, lo que lleva 
a un aumento del azufre y otras sustancias tóxicas en el aire. 
Se estima que un carguero emite tanta contaminación como 
cincuenta millones de autos, y sesenta mil muértes anuales se 
atribuyen indirectamente a la contaminación producida por la 
industria de los cargueros.”! 

Incluso fuentes afines a las industrias, como el World Ship- 
ping Council, han admitido que se pierden miles de contenedo- 
res al año, que se hunden en el fondo del mar o quedan ala 
deriva.” Algunos contienen sustancias tóxicas que se filtran a 
los océanos; otros liberan miles de patitos de plástico que durante 
décadas van llegando a las costas alrededor del mundo.” Por 
lo general los trabajadores pasan diez meses en el mar, a pudo 
con largos turnos y sin acceso a comunicaciones con el exterior. 

Aquí también la atmósfera, el ecosistema del océano y los 
trabajadores mal pagados han tenido que soportar el severo 
costo de la logística global. A los imaginarios empresariales de 
la 1a se les olvidó describir los costos a largo plazo y las historias 
detrás de los materiales necesarios para construir infraestructu- 
ras computacionales, o detrás de la energía requerida para hacer- 
las funcionar. El rápido crecimiento de la computación basada 


é 7 ippi the Sixth- 

70 Zoé Schlanger, “If Shipping Were a Country, It Would Be d g 
Biggest Greenhouse Gas Emitter’, en Quartz, 17 de abril de 2018, disponible 
en línea: <https://qz.com/1253874/if-shipping-were-a-country-it-would-the- 

Ids-sixth-biggest-greenhouse-gas-emitter/>. ; ; 
"de Vidal “Health Risks of Shipping Pollution Have Been Underesti- 
mated”, en The Guardian, 9 de abril de 2009, disponible en línea: <https:// 
www.theguardian.com/environment/2009/apr/09/shipping-pollution>. 

72“Containers Lost at Sea - 2017 Update”, World Shipping Council, 10 de 
julio de 2017 
E 73 Guy Adams, “Lost at Sea: On the Trail of Moby-Duck’, en The Indepen- 
dent 27 de febrero de 2011: 


84 ATLAS DE INTELIGENCIA ARTIFICIAL 


en la nube, expuesta como amigable con el ambiente, ha pro- 
pulsado paradójicamente una expansión de las fronteras de la 
extracción de recursos. Solo cuando tengamos en cuenta estos 
costos ocultos y estos conjuntos más amplios de actores y sis- 
temas, podremos entender lo que realmente significa el giro 
hacia una mayor automatización. Esto requiere trabajar a con- 
trapelo del imaginario tecnológico, que suele desvincularse de 
los asuntos terrenales. Al igual que cuando uno realiza una bús- 
queda de imágenes de 1a, que nos devuelve docenas de fotogra- 
fías de cerebros que brillan y códigos binarios teñidos de azul 
flotando en el espacio, hay una resistencia poderosa a lidiar con 
las materialidades de estas tecnologías. Por el contrario, nosotros 
comenzaremos con la tierra, con la extracción y con las historias 
sobre el poder industrial y, a partir de ahí, consideraremos la 


manera en que se repiten esos patrones en los sistemas de mano 
de obra y datos. 


LA INTELIGENCIA ARTIFICIAL 
COMO UNA MEGAMÁQUINA 


A fines de los años sesenta, el historiador y filósofo de la tecno- 
ciencia Lewis Mumford desarrolló el concepto de megamáquina 
para ilustrar la forma en que todos los sistemas, sin importar 
cuán grandes fueran, dependían del trabajo de muchos actores 
humanos.” Para Mumford, el Proyecto Manhattan, cuyas com- 
plejidades se le ocultaron no solo al Público, sino incluso a las 
miles de personas que trabajaron en él en lugares apartados y 


% Lewis Mumford, The Myth of the Machine. Technics and Human Devel- 

Hees Nueva York, Harcourt Brace Jovanovich, 1967 [trad. esp.: El mito de 
máquina. Técnica y evolución humana, La Rioj ñ į 

ea oja (España), Pepitas de Cala- 
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seguros a lo largo de Estados Unidos, era la megamáquina 
moderna por antonomasia. Un total de ciento treinta mil traba- 
jadores operaron en completo secreto, bajo la dirección del ejér- 
cito, desarrollando un arma que mató (según estimaciones con- 
servadoras) a 237 mil personas al alcanzar Hiroshima y Nagasaki 
en 1945. La bomba atómica dependió de-una cómpleja y secreta 
cadena de suministros, logística y mano de obra. 

La la es otro tipo de megamáquina, un conjunto de enfoques 
tecnológicos que depende de infraestructuras industriales, cade- 
nas de suministros y mano de obra extendidas por todo el mundo, 
pero que se mantienen en segundo plano. Hemos visto cómo la Ia 
es mucho más que bases de datos y algoritmos, modelos de apren- 
dizaje profundo y álgebra lineal. Es metamórfico: depende de la 
manufactura, el transporte y el trabajo físico; de los centros de 
datos y cables submarinos que trazan líneas entre los continentes; 
de los dispositivos móviles y sus componentes en bruto; de las 
señales de transmisión que surcan los cielos; de los conjuntos de 
datos recolectados de Internet, y de los ciclos continuos de las 
computadoras. Todo esto tiene un costo. 

Hemos visto las relaciones entre las ciudades y las minas, 
las compañías y las cadenas de suministro y las topografías de 
extracción que las conectan. La naturaleza fundamentalmente 
interconectada de la producción, fabricación y logística nos 
recuerda que las minas que sustentan la 1a están por todos lados: 
no solo están ubicadas en lugares apartados, sino que también 
son difusas y están diseminadas a lo largo de la geografía mun- 
dial, en lo que Mazen Labban ha llamado la “mina planetaria". 


75 Mazen Labban, “Deterritorializing Extraction: Bioaccumulation and 
the Planetary Mine”, en Annals of the Association of American Geographers, 
vol. 104, núm. 3, 2014, pp. 560-576. Para un desarrollo más amplio de esta 
idea, véase Martin Arboleda, Planetary Mine. Territories of Extraction under 
Late Capitalism, Londres, Verso, 2020. 
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Esto no busca negar las muchas ubicaciones específicas en las 
que se está llevando a cabo una minería impulsada por la tec- 
nología. Más bien, Labban nota que la mina planetaria expande 
y reconstituye la extracción en nuevas maneras, extendiendo 
las prácticas de las minas hacia nuevos espacios e interacciones 
alrededor del mundo. 

En este momento de la historia, en que los impactos del 
cambio climático antropogénico ya están bastante avanzados, es 
vital encontrar nuevos métodos para entender las profundas raí- 
ces humanas y materiales que tienen los sistemas de 1a. Pero eso 
es más fácil decirlo que hacerlo. En parte, porque muchas de LC ) 
industrias que componen la cadena del sistema de 14 esconden 
los continuos costos de lo que hacen. Además, la escala requerida 
para construir sistemas de 1a es demasiado compleja y está dema- 
siado oscurecida por leyes de propiedad intelectual y demasiado 
empantanada en complejidades logísticas y técnicas como para 
que podamos verlo todo. Pero nuestro objetivo aqui no es trans- 
parentar estos complejos ensamblajes: más que intentar ver den- 
tro de ellos, nos conectaremos a través de muchos sistemas para 
entender cómo funcionan entre si.” Por lo tanto, nuestro camino 
seguirá las historias sobre los costos ambientales y de mano de 
Obra, y las pondrá en contexto con las prácticas de extracción y 
clasificación tejidas a lo largo de la vida cotidiana. Podemos tra- 
bajar para alcanzar una mayor justicia si pensamos juntos en 
estos temas. 

Hago un viaje más a Silver Peak. Antes de alcanzar el pueblo 
me detengo a un lado del camino para leer un cartel azotado por 
el clima. Es el marcador histórico 174 de Nevada, dedicado a la 


76 Mike Ananny y Kate Crawford, “Seeing without Knowing: Limitations 
of the Transparency Ideal and Its Application to Algorithmic Accountability’, 
en New Media and Society, vol. 20, núm. 3, 2018, pp. 973-989. 
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Las ruinas en Blair. Fotografia de Kate Crawford. 


creación y destrucción del pequeño pueblo llamado Blair. En 1906, 
la compañía minera Silver Peak Gold de Pittsburgh compró las 
minas del área. Anticipando un boom, los especuladores de tierras 
compraron todos los lotes disponibles en las cercanías de Silver 
Peak, junto con sus derechos de agua, lo que llevó los precios a 
unos récord de máximos artificiales. Entonces la minera inspec- 
cionó unos pocos kilómetros al norte y lo declaró el sitio de un 
nuevo pueblo: Blair. Construyeron un molino de cianuro de cien 
sellos para la minería de lixiviación, el más grande del estado, 
y colocaron el ferrocarril Silver Peak, que iba desde Blair Junction 
hasta la línea principal de Tonopah y Goldfield. En breve el pue- 
blo prosperó. Cientos de personas llegaron de todas partes bus- 
cando trabajo, a pesar de las duras condiciones. Pero con tanta 
actividad minera, el cianuro empezó a envenenar el suelo, y las 
vetas de oro y plata comenzaron a flaquear y a secarse. Para 1918, 
Blair estaba prácticamente deshabitada. Todo ocurrió en un lapso 
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de doce años. Las ruinas están marcadas en un mapa local; ql 
dan auna distancia de solo cuarenta y cinco minutos caminando, 

Hace un calor ardiente en el desierto. Los únicos sonidos 
que pueden escucharse son las reverberaciones metálicas de las 
cigarras y el rumor de un jet de pasajeros ocasional. Me decido 
a subir la colina. Para cuando alcanzo el grupo de edificios de 
piedra en lo alto del largo camino de tierra, el calor me tiene 
exhausta. Me refugio dentro de las ruinas de lo que alguna vez 
fue la casa de un minero de oro. No queda mucho: una vajilla 
rota, fragmentos de botellas de vidrio, unas cuantas tinajas oxi- 
dadas. En los años más animados de Blair, varias tabernas pros- 
peraron cerca de donde me encuentro y un hotel de dos pisos 
daba la bienvenida a los visitantes. Ahora no es más que una aglo- 
meración de cimientos destruidos. 

A través del espacio de lo que alguna vez fue una ventana, 
la vista se extiende por todo el valle. Me toma por sorpresa darme 
cuenta de que Silver Peak también será pronto un pueblo fan- 
tasma. El consumo actual de la mina de litio se ha vuelto agre- 
sivo, en respuesta a la alta demanda, y nadie sabe cuánto durará. 
Las estimaciones más optimistas dicen que cuarenta años, pero 
el final podría estar mucho más cerca. Luego las piscinas de litio 
que están debajo del valle Claytón serán desangradas; extraídas 
para hacer baterías destinadas a un basurero. Y Silver Peak vol- 
verá a su antigua vida como un lugar vacío y tranquilo, al borde 
de un antiguo lago salado, ahora drenado. 


D El trabajo 


Lo PRIMERO que veo al entrar en el enorme centro logístico de 
Amazon en Robbinsville, Nueva Jersey, es un gran cartel que dice 
“Reloj de fichaje”. Sobresale de uno de los brillantes pilares ama- 
rillos de concreto que se extienden a lo largo del vasto espacio 
de la fábrica, de más de 100.000 metros cuadrados. Se trata de 
uno de los principales centros de distribución de objetos peque- 
ños, un nodo central para la distribución en la zona noreste de 
Estados Unidos. Presenta un vertiginoso espectáculo de logística 
y estandarización, diseñado para acelerar la entrega de paque- 
tes. Hay docenas de carteles de relojes de fichaje a lo largo de la 
entrada para controlar la asistencia a intervalos regulares. Cada 
segundo de trabajo se monitorea y contabiliza. Los trabajadores 
(a los que se les llama “asociados”) tienen que marcar tarjeta en 
cuanto llegan. Las escasas salas de descanso, iluminadas con 
tubos fluorescentes, también cuentan con estos relojes, con más 
letreros para señalar que todas las entradas y salidas de las habi- 
taciones se monitorean. Al igual que se registran los paquetes 
al llegar al centro, también se registra y monitorea a los traba- 
jadores para que alcancen la mayor eficiencia: durante sus tur- 
nos solo pueden estar quince minutos sin trabajar, con una pausa 
_ Para comer de media hora, no remunerada. Los turnos son de 
diez-horas. 
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Este es uno de los centros logísticos nuevos; cuenta con 
robots para mover las pesadas estanterías repletas de bandejas 
de productos. Los robots Kiva anaranjados se deslizan suave- 
mente a través del piso de concreto, como vívidos bichos de 
agua, siguiendo una lógica programada que los lleva a girar en 
perezosos círculos antes de seguir un rumbo fijo hacia el si- 
guiente trabajador que espera las bandejas. Después se mueven 
hacia adelante, cargando en sus espaldas una torre de compras 
que puede llegar a pesar 3.000 toneladas. Este ejército de robots 
esquivos presenta una especie de eficiencia que no pareciera 
requerir esfuerzo: llevan carga, giran, avanzan, repiten. Emiten 
un ligero zumbido, pero este es ahogado casi por completo por 
el sonido ensordecedor de las cintas transportadoras, que actúan 
como las arterias de la fábrica. Hay 23 kilómetros de cintas 
transportadoras que se mueven sin pausa en este espacio. El re- 
sultado es un rugido constante. 

Mientras los robots llevan a cabo su coordinado balletalgo- 
rítmico detrás del alambrado, los trabajadores están lejos de com- 
partir esa serenidad. La ansiedad por alcanzar la “tasa de cum- 
plimiento” (el número de items que seleccionan y empaquetan 
dentro del tiempo asignado) claramente les está pasando la 
cuenta. Muchos de los trabajadores con los que me encuentro 
en mis visitas tienen puesto algún tipo de vendaje. Veo rodille- 
ras, coderas, muñequeras. Cuando hago la observación de que 
me parece que mucha gente tiene algún tipo de lesión, el tra- 
bajador de Amazon me muestra, a lo largo de toda la fábrica, 
una serie de máquinas expendedoras, espaciadas a intervalos 
regulares, abastecidas con analgésicos “para el que los necesite”. 

La robótica se ha vuelto parte clave del arsenal logístico de 
Amazon. Y si bien la maquinaria parece estar bien cuidada, los 
correspondientes cuerpos humanos parecen ser un aditamento. 
Están allí para completar las tareas específicas y complejas que 
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GE CS 
Trabajadores y relojes de fichaje en el centro 
logístico de Amazon en Robbinsville Township, Nueva Jersey. 
Fotografía de ar/fulio Cortez. 


los robots son incapaces de hacer: recoger y confirmar visual- 
mente todos los objetos de formas extrañas que la gente quiere 
que envíen a sus casas, desde protectores de teléfono hasta deter- 
gentes y lavavajillas, en el menor tiempo posible. Los humanos son 
el tejido conectivo necesario para meter los ítems comprados 
en contenedores y camiones, y entregarlos a los consumidores. 
Pero no son el componente más valioso de la maquinaria de Ama- 
zon ni tampoco el más digno de su confianza. Al final del día, 
todos los asociados salen a través de una fila de detectores de 
metal. Es una efectiva medida antirrobos, me cuentan. 

Entre las capas de Internet, una de las unidades de medida 
más comunes es la del paquete de red, una unidad básica de datos 
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que se envía desde un destino a otro. En Amazon, la unidad 
básica de medida es la caja de cartón color café, ese recipiente 
de carga doméstico que nos resulta tan familiar, adornado con 
una flecha curva que simula una sonrisa humana. Los Paquetes 
de red tienen todos un sello fechado, conocido como tiempo de 
vida. Los datos tienen que llegar a su destino antes de que expire 
ese tiempo. En Amazon, la caja de cartón también tiene un fi 
de vida que depende de las exigencias de envio del cliente. Si la 
caja llega tarde, esto afecta a la marca Amazon y eventualmente 
sus ganancias. Por esta razón, se le ha prestado mucha atención 
al algoritmo de aprendizaje automático que ajusta los datos téla- 
cionados con el mejor tamaño, peso y resistencia de las cajas de 
cartón corrugado y los sobres de papel. Aparentemente a ese al: 
goritmo lo llaman, sin ironía, “la métier) Cada vez que una per- 
sona informa que un artículo llegó roto, esto se vuelve un dato 
respecto a qué tipo de caja debería usarse en el futuro. La próxima 
vez que ese mismo producto vaya a ser enviado, la mátrix le 
asignará automáticamente un nuevo tipo de caja, sin que haya 
intervención humana. Esto previene que se rompan más objetos, 
lo que ahorra tiempo, lo cual a su vez aumenta las ganancias. Los 
trabajadores, sin embargo, están obligados a estar adaptándose 
continuamente, lo que dificulta que pongan en práctica su cono- 
cimiento o que se habitúen a su trabajo. 
Controlar el tiempo es una preocupación constante en el 
imperio logístico de Amazon, y los cuerpos de los trabajador, 
se manejan de acuerdo con las cadencias de la lógica comphad 
tacional. Amazon es el segundo empleador privado más grande 
de Estados Unidos y muchas compañías hacen grandes esfuerzos 


1 Mark Wilson, “The Hot New Product Amazon and Target are Obsessing 
Over? Boxes”, en Fast Company, 6 de mayo de 2019, disponible en línea: 
<https://wwwastcompany.com/90342864/rethinking-the-cardboard-box- 
has-never-been-more-important-just-ask-amazon-and-target>. 
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emularlo. Muchas de las grandes corporaciones estan in- 
lo fuertemente en sistemas automatizados, en un intento 
„or extraer volúmenes todavía mayores de una mano de obia de 
menos trabajadores. Las lógicas de la eficiencia, la vigilancia y la 
automatización hoy convergen todas en el giro actual hacia los 
enfoques computacionales para gestionar el trabajo. Los centros 
híbridos de distribución humano-robótica de Amazon son clave 
para entender las soluciones intermedias que se buscan por medio 
de este compromiso con la eficiencia automatizada. A partir de 
allí podemos empezar a preguntarnos cómo la mano de obra, el 
capital y el tiempo están entrelazados en los sistemas de inteli- 
gencia artificial Dal, 

Más que debatir si los seres humanos serán remplazados 
por robots, en este capítulo me concentro en las maneras enque 
la experiencia del trabajo ha ido cambiando en relación con el 
aumento del monitoreo, la evaluación algorítmica y la modu 
ción del tiempo. En otras palabras, en vez de hacer la pregunta 
de silos robots remplazarán a los humanos, me interesa la forma 
en que los seres humanos son tratados cada vez más como robots 
y lo que esto puede significar para la función de la mano de obra. 
Bajo el término “inteligencia artificial” se envuelven muchas for- 
mas de trabajo distintas, ocultando el hecho de que las personas 
a menudo realizan tareas rutinarias para dar la impresión de 
que las máquinas pueden hacer ese trabajo. Pero la o he 
a gran escala está profundamente enraizada en la explotación 
cuerpos humanos; de hecho, funciona gracias a ello. 

Si queremos entender el futuro del trabajo en el contexto de 
la 1a hay que entender primero la experiencia pasada y presente 
delos trabajadores. Los enfoques para maximizar la extracción de 
valor de los trabajadores varían desde la reelaboración de las 
técnicas clásicas usadas en las fábricas de Henry Ford hasta la 
variedad de herramientas impulsadas por el aprendizaje auto- 
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mático y diseñadas para mejorar la granularidad de los segúi- 
mientos, los incentivos y las evaluaciones de los trabajadores, 
Este capítulo cartografía distintas geografías de la mano de Obra 
en el pasado y en el presente, desde las casas de inspección de 


Samuel Bentham a las teorías administrativas de Charles Babbage 
y la microgestión de los cuerpos humanos de Frederick Winslow 
Taylor. A lo largo del camino, veremos que la 1a se basa en los 
esfuerzos humanos de —entre otras cosas— el trabajo colabora: 
tivo, la privatización del tiempo y el acto aparentemente inter- 
minable de alcanzar, levantar y ordenar cajas. De las líneas de 
producción de la fábrica mecanizada, surge un modelo que vä: 
lora el aumento de la conformidad, la estandarización y la inte- 
roperabilidad para los productos, los procesos y los seres huma- 
nos por igual. 


PREHISTORIAS DE LA INTELIGENCIA ARTIFICIAL 
EN EL LUGAR DE TRABAJO 


Si bien a menudo se habla de la automatización del lugar de 
trabajo como una historia futurista, se trata de una realidad lar- 
gamente establecida del trabajo contemporáneo. La línea de mon- 
taje, con su énfasis en las unidades de producción consistentes 
y estandarizadas, tiene su contraparte análoga en la industria de 
servicios, desde el comercio minorista hasta los restaurantes. El 
trabajo secretarial se ha ido automatizando progresivamente desde 
la década de 1980 y ahora es emulado por asistentes de 1a muy 
feminizados, como Siri, Cortana y Alexa? Los llamados trabaja- 


?Jessa Lingel y Kate Crawford, “Alexa, Tell Me about Your Mother. The 
History of the Secretary and the End of Secrecy”, en Catalyst. Feminism, 
Theory, Technoscience, vol. 6, núm. 1, 2020, disponible en linea: <https:// 
catalystjoumal.org/index php/catalyst/article/view/29949>. 
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es capacitados, los empleados EEN menos SC 
zados por las fuerzas que impulsan la automatización, se act : 
tran cada vez más sujetos a la vigilancia en su lugar de tra al ; 
a la automatización de procesos y al colapso de la distinción 
tre el trabajo y el tiempo libre (aunque las mujeres rara vez 
e experimentado distinciones tan claras, como demuestra la 
Stee de teóricas feministas de la talla de ee 
y Melissa Gregg)? Trabajos de todo tipo han tenido Se : Gen 
significativamente e X Sistemas basados en software p 
i entenderlos: 
as sobre la expansión ER e sistemas de lay 
Ta automatización de los procesos dice que vivimos en una = 
de colaboración beneficiosa entre los seres humanos y lala. j ero 
esta colaboración no se negocia de manera justa. Los T 
descansan en una asimetría de poder significativa; de Se o, 
¿existe siquiera la posibilidad de zo colaborar con sistemas algo- 
rítmicos? Cuando una compañía introduce Ke nueva plataforma 
de 1a, a los trabajadores rara vez se les permite no usarla. Esto es 
menos una colaboración que un compromiso forzado, en el que 
se espera que los trabajadores vuelvan a capacitarse, se SE 
gan al día y acepten sin cuestionárselo cualquier nuevo desarr 
Ógico. 
‘i een un giro radical en las formas SE 
das del trabajo, la intrusión de la 1a en el lugar de trabajo debería 


3 silvia Federici, Wages against Housework, Londres, Power of WEE 
Collective and Falling Walls Press, 1975, y Melissa Gregg, Counterpro: Y e 
Time Management in the Knowledge Economy, Durham, Duke University 
er wie de las normas, David Graeber describe la reste de 
pérdida que han experimentado los trabajadores de SS blanco, qes non 

j: isi ue z 
j ingresar datos en sistemas de toma de ecisiones q 
Kerg E personal de apoyo administrativo en la mayoría de los lugares 
de trabajo. 


trabajo y de los datos fisiológ; 
miento, que antes les estaban 


Existen muchas prehistorias de la 


Una de ellas es 


IA en el lugar de trabai 
la automatización generalizada de S abajo 
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dividirlos en pasos todavía más pequeños, de manera que 
producto que alguna vez fuera creado por la mano experta 
de un artesano ahora podía ser construido por un equipo de 
obreros de menor habilidad, equipados con herramientas cons- 


o “truidas para tareas especificas. De esta manera, la producción de 
- una fábrica podía aumentar significativamente sin que hubiera 


un aumento equivalente en el costo de mano de obra. 
Los avances en la mecanización eran importantes, pero fue 

solo al combinarse con una creciente abundancia de energía, 
derivada de los combustibles fósiles, que consiguieron impulsar 
un aumento masivo de las capacidades productivas de las socie- 
dades industriales. Este aumento de la producción se produjo a 
la par de una importante transformación del papel de la mano de 
obra con respecto a la maquinaria en el lugar de trabajo. Con- 
cebidas inicialmente como dispositivos para ahorrar mano de 
obra, las máquinas en las fábricas en principio debían ayudar a 
los obreros en sus actividades diarias; pero pronto se volvieron 
el centro de la actividad productiva, moldeando la velocidad y 
la naturaleza del trabajo. Los motores a vapor accionados por el 
carbón y el petróleo podían impulsar acciones mecánicas con- 
tinuas que influían el ritmo del trabajo en la fábrica. El trabajo 
dejó de ser principalmente un producto de la mano de obra 
humana, para adoptar una naturaleza cada vez más mecanizada, 
con los obreros adaptándose a las necesidades de la máquina y 
a sus ritmos y cadencias particulares. Partiendo de Smith, Karl 
Marx señaló, ya en 1848, que la automatización extrae mano 
de obra de la producción de objetos terminados y transforma al 
obrero en “un apéndice de la máquina”. 


$ Karl Marx y Friedrich Engels, The Marx-Engels Reader, ed. de Robert C. 
Tucker, Nueva York, W. W. Norton, 1978, p. 479. Marx amplió esta noción del 
trabajador como un “apéndice” en el volumen 1 de El capital:“En la artesanía 
y la manufactura, el trabajador hace uso de una herramienta; en la fábrica, 
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La integración de los cuerpos de los obreros con las Máquinas 
fue lo suficientemente rigurosa para que los primeros industria. 


les pudieran verlos como si fueran una materia prima que, como 
cualquier otro recurso, hay que gestionar y controlar. Usando 
tanto su influencia política como a sus matones a sueldo, los 
dueños de las fábricas buscaron dirigir y restringir la manera en 
que sus obreros se movían dentro de los pueblos industriales, 
a veces incluso previniendo que emigraran a regiones menos me- 
canizadas del mundo.” 
Esto también significó aumentar el control sobre el tiempo. 
El formativo ensayo del historiador Edward P. Thompson explora 
forma en que la Revolución Industrial exigió una mayor sin- 
ración del trabajo y disciplinas horarias más estrictas.3 La 
transición hacia el capitalismo industrial trajo nuevas divisiones 
del trabajo, supervisiones, relojes, multas y planillas de horarios; 
tecnologías que también influyeron en la Manera en que la gente 
experimentaba el tiempo. La cultura también fue una poderosa 
herramienta. Durante los siglos XVII y XIX, la propaganda sobre 
el trabajo duro se distribuía en forma de panfletos y ensayos 
sobre la importancia de la disciplina, y de sermones sobre las 


la máquina lo utiliza a él. Allí proceden de él los movimientos del instrumento 
de trabajo, aquí son los movimientos de la máquina los que debe seguir. En 
la manufactura, los trabajadores son parte de un mecanismo vivo. En la fábrica, 
tenemos un mecanismo sin vida que es independiente de los trabajadores, 
quienes están incorporados a ella como sus apéndices vivos”. Karl Marx, Das 
Kapital. A Critique of Political Economy, Chicago, H. Regnery, 1959, pp. 548 
y 549 [trad. esp.: El capital, México, Fondo de Cultura Económica, 2014]. 

7 Rosa Luxemburgo, “Practical Economies: Volume 2 of Marx's Capital, 
en The Complete Works of Rosa Luxemburg, ed. de Peter Hudis, Londres, 
Verso, 2013, p. 444. 

“Edward P. Thompson, “Time, Work-Discipline, and Industrial Capitalism’, 
en Past and Present, vol. 38, 1967, pp. 56-97 [trad. esp.: “Tiempos, disciplina 


de trabajo y capitalismo industrial”, en Costumbres en común, Barcelona, 
Critica, 2000]. 
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s de madrugar y trabajar diligentemente durante el mayor 
o posible.’ El uso del tiempo llegó a verse tanto en térmi- 


odía usarse bien o malgastarse. Pero a medida que se fueron 
as iendo disciplinas horarias más estrictas,en los talleres y 
ee, los obreros empezaron a oponerse, ara 
tra el tiempo mismo. Para principios del siglo XIX, ‘a mo ‘ser 
iones sindicales abogaban fuertemente por una re Jucan 
rada laboral, que podía llegar a durar hasta dieciséis horas. 
ene en sí se volvió un lugar clave de lucha. TEET 
Mantener una fuerza de trabajo eficiente y discip S 5 
las primeras fábricas requería nuevos sistemas de = ee be 
control. Uno de esos inventos, de los primeros ne SC A 
ducción industrial, fue la casa de inspección, una ` a a 
circular que colocaba a todos los obreros de una fábr GE 
vista de sus supervisores, que a su vez trabajaban en Sri 
ubicada en una plataforma elevada en el EENG del edi a e 
Desarrollada en la década de 1780, en Rusia, por el Se ja 
naval inglés Samuel Bentham, mientras estaba GE d as 
el príncipe Potemkin, esta disposición permitía e a S e S 
supervisores vigilar a sus subordinados no capacita GE 
mayoría campesinos rusos que Potemkin le había > cie 
Bentham), buscando señales de malos aaa de tral Cie 
bién le permitía al propio Bentham supervisar a los supervi E 
buscando señales de mala disciplina. Los RSC P 2 
mayoria maestros constructores navales SES g S A 
rra, le causaban grandes molestias a Bentham debido S su eL 
dencia a beber y tener pequeños desacuerdos entre ellos. - 
a día tengo que ocuparme principalmente de las disputas en’ 


° Ibid, pp. 88-90. 
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mis oficiales’, se quejaba. Según iba creciendo su frustración 
se embarcó en un rediseño que maximizaría su capacidad de vigi- 
larlos y vigilar el sistema en general. Gracias a una visita de sy 
hermano mayor, el filósofo utilitario Jeremy Bentham, la casa 
de inspección de Samuel se volvió la inspiración para el famoso 
panóptico, un diseño para una prisión modelo, con una torre de 
vigilancia desde la cual los guardias podían supervisar a los pri- 
sioneros en sus celdas. 

Desde Vigilar y castigar. de Michel Foucault, se ha vuelto 
un lugar común considerar que la prisión es el origen de la 
sociedad de vigilancia actual, con el mayor de los Bentham como 
su progenitor ideológico. Pero, de hecho, la prisión panóptica 
debe su existencia al trabajo del menor de los Bentham, en el 
contexto de los primeros complejos industriales.12 El panóptico 


nació como un mecanismo del lugar de trabajo, mucho ante] : 


de que se lo conceptualizara Para usarse en las prisiones. 

Si bien el trabajo de Samuel Bentham en las casas de ins- 
pección prácticamente ha desaparecido de nuestra memoria 
colectiva, la historia detrás sigue estando en nuestro léxico co- 
mún. La casa de inspección era parte de una estrategia coor- 
dinada por el empleador de Bentham, el príncipe Potemkin, 
que buscaba ganarse el favor de la.corte de Catalina la Grande 


1 Simon Werrett, “Potemkin and the Panopticon: Samuel Bentham and 
the Architecture of Absolutism in Eighteenth Century Russia”, en Journal 
of Bentham Studies, vol. 2, 1999, p. 6, disponible en línea: <https://doi.org/ 
10.14324/111.2045-757X.010>. 

1 Véase, por ejemplo, Carolyn C. Cooper, “The Portsmouth System of 
Manufacture’, en Technology and Culture, vol. 25, núm. 2, 1984, pp. 182-225, 
disponible en línea: <https://doi.org/10.2307/3104712>. 

? Michel Foucault, Discipline and Punish. The Birth of the Prison, Nueva 
York, Vintage, 1995 [trad. esp.: Vigilar y castigar. Nacimiento de la prisión, 
México, Siglo xx1, 2009], y Emily Horne y Tim Maly, The Inspection House. 
An Impertinent Field Guide to Modern Surveillance, Toronto, Coach House, 
2014, 
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demostrando su potencial para modernizar la Rusia rural y 
transformar al campesinado en una moderna mano de obra 
industrial. La casa de inspección fue construida para servir de 
espectáculo para los dignatarios y financieros visitantes, al igual 
que los llamados pueblos Potemkin, que eran poco más que 
fachadas decoradas, diseñadas para distraér a los observadores 
delos empobrecidos paisajes rurales, que habían sido ocultados 
discretamente. 

Y esta es solo una de las genealogías. Muchas otras historias 
del trabajo dieron forma a estas prácticas de observación y con- 
trol. Las colonias de plantaciones en las Américas usaban ES 
bajo forzado para mantener cultivos comerciales como El azúcar, 
y los dueños de esclavos dependían de los sistemas de vigilancia 
constante. Como ha descripto Nicholas Mirzoeff en El derecho 
a mirar, el supervisor, que vigilaba el flujo de producción SA la 
plantación colonial, ocupaba un rol central en la economía de 
Jas plantaciones; su supervisión significaba ordenar el trabajo 
de los esclavos dentro de un sistema de violencia extrema.!? 
Como describió un plantador en 1814, la función del supervisor 
era “nunca permitir que el esclavo caiga en un instante de ime 
ción; mantener la fabricación del azúcar bajo vigilancia, sin 
abandonar el trapiche en ningún momento”.!* Este régimen de 
supervisión también dependía de sobornar a algunos esclavos 
con comida y ropa para alistarlos como parte de una red exten- 
dida de vigilancia y para ayudar a mantener la disciplina y la 
velocidad del trabajo cuando el supervisor estuviera ocupadas 

Hoy en día, el papel del supervisor en el lugar de trabajo 
moderno es delegado principalmente a las tecnologías de vigi- 


13 Nicholas Mirzoeff, The Right to Look. A Counterhistory of Visuality, 
Durham, Duke University Press, 2011, p. 58. 

14 Ibid, p. 55. 

15 Ibid, p. 56. 
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lancia. La clase gerencial ocupa una amplia gama de tecnolog; 


para vigilar a sus empleados, lo que incluye seguir sus moyj- 
mientos con aplicaciones, analizar sus redes sociales, compatar 


sus patrones de respuesta a la hora de escribir correos electró- 


nicos y agendar reuniones e inundarlos con sugerencias pära 


que trabajen más rápido y eficientemente. Los datos de los em- 
pleados se usan para hacer predicciones sobre quién tiene más 
posibilidades de triunfar (de acuerdo con parámetros restringi- 
dos y cuantificables), quién podría estar alejándose de las metas 
de la empresa y quién podría estar organizándose con otros 
trabajadores. Algunos usan las técnicas de aprendizaje automá- 
tico y otros sistemas algorítmicos más simples. A medida que la 
Ia se vuelve más preponderante en el lugar de trabajo, a muchos 
de los sistemas más básicos de monitoreo y seguimiento se les 
están agregando nuevas capacidades predictivas, lo que los 
vuelve mecanismos cada vez más invasivos de gestión de tra- 
bajadores, control de activos y extracción de valores. 


LA INTELIGENCIA ARTIFICIAL POTEMKIN 
Y LOS TURCOS MECÁNICOS 


Uno de los hechos menos reconócidos de la 1a es la cantidad de 
empleados mal remunerados que se necesitan para construir, 
mantener y poner a prueba dichos sistemas. Esta mano de E 
invisible toma muchas formas: trabajos en la cadena de sumi- 
nistro, crowdsourcing [trabajos externalizados o tercerizados] 
así como los tradicionales trabajos de la industria de servicios. 
En todas las etapas del proceso de la 1a, existen formas laborales 
de explotación desde el sector minero, en el que los recursos se 
extraen y transportan para crear el núcleo de la infraestructura 
de los sistemas de 1a, hasta el lado del software, donde a la fuerza 
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oral repartida por el mundo se le paga una miseria por hacer 
icrotareas. Mary Gray y Sid Suri se han referido a esa labor 
oculta como “trabajo fantasma’.'¢ Lilly Irani lo llama “automati- 


“zación alimentada por humanos”. Estos académicos han Ha- 
“ado la atención sobre las experiencias de los trabajadores de 


crowdsourcing o de los microtrabajadores que eféctúan las repe- 
titivas tareas digitales que subyacen a los sistemas de 1a (como 
etiquetar miles de horas de datos de entrenamiento y revisar 
contenidos sospechosos o dañinos). Los trabajadores realizan 
esas tareas repetitivas que respaldan las afirmaciones sobre la 
magia de la 1a, pero rara vez reciben algún crédito por conseguir 
que los sistemas funcionen.!* 

Aunque este trabajo es esencial para sostener los sistemas 
de (A. por lo general está muy mal remunerado. Un estudio de 
la Organización Internacional del Trabajo de las Naciones Unidas 
entrevistó a tres mil quinientos trabajadores de crowdsourcing 
de 75 países que, con frecuencia, se ofrecían para trabajar en pla- 
taformas de tareas populares como Amazon Mechanical Turk, 
Figure Eight, Microworkers y Clickworker. El informe reportó 
que un número considerable de personas ganaba por debajo del 
salario mínimo de sus países, incluso cuando la mayoría de ellos 
tenía un alto nivel de educación, a menudo con especializacio- 


16 Mary L. Gray y Siddharth Suri, Ghost Work. How to Stop Silicon Valley 
from Building a New Global Underclass, Boston, Houghton Mifflin Harcourt, 
2019. 
17 Lilly Irani, “The Hidden Faces of Automation”, en XRDS, vol. 23, núm. 
2, 2016, pp. 34-37, disponible en linea: <https://doi.org/10.1145/3014390>. 
18 [i Yuan, “How Cheap Labor Drives China's a1 Ambitions’, en The New 
York Times, 25 de noviembre de 2018, disponible en línea: <https://www. 
nytimes.com/2018/11/25/business/china-artificial-intelligence-labeling. 
html>, y Mary L. Gray y Siddharth Suri, “The Humans Working behind the 
AI Curtain”. en Harvard Business Review, 9 de enero de 2017, disponible en 
línea: <https//hbr.org/2017/01/the-humans-working-behind-the-ai-curtain>. 
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nes en ciencia y tecnología.!? Al mismo tiempo, también se les 
Paga poco a aquellos que moderan contenidos (evaluando, para 
ser borrados, videos violentos, incitaciones al odio y formas de 


crueldad en línea). Como han demostrado los expertos en medios 
Sarah Roberts y Tarleton Gillespie, este tipo de trabajo puede 
causar formas duraderas de trauma psicológico.20 

Pero sin este tipo de trabajo, los sistemas de 1A no funcio. 
narían. La comunidad de investigación técnica de la 1a depende 
de la mano de obra barata y externalizada para muchas tareas 
que las máquinas no pueden llevar a cabo. Entre 2008 y 2016, 
el término crowdsourcing pasó de aparecer en menos de mil ar 
tículos científicos a hacerlo en más de veinte mil; lo que tiene 
sentido, dado que Mechanical Turk se lanzó en 2005. Sin em. 
bargo, durante el mismo periodo de tiempo, se debatió muy 
poco acerca de las preguntas éticas que podían surgir al depen- 
der de una fuerza de trabajo a la que, por lo general, se le paga 
por debajo del salario minimo.?! 

Por supuesto, existen fuertes incentivos para ignorar esa 
dependencia en la mano de obra mal remunerada alrededor del 
mundo. Todo el trabajo que hacen (desde etiquetar imágenes 


19 Janine Berg et al, Digital Labour Platforms and the Future of Work. 
Towards Decent Work in the Online World, Ginebra, International Labor 
Organization, 2018, disponible en línea: <https://www.ilo.org/wcmsp5/ 
groups/public/---dgreports/---dcomm/---publ/documents/publication/ 
wems_645337.pdf>. 

20Sarah T. Roberts, Behind the Screen. Content Moderation in the Shadows 
of Social Media, New Haven, Yale University Press, 2019, y Tarleton Gillespie, 
Custodians of the Internet. Platforms, Content Moderation, and the Hidden 
Decisions That Shape Social Media, New Haven, Yale University Press, 2018, 
pp. 111-140. 

71M. 5. Silberman et al, “Responsible Research with Crowds: Pay Crowd- 
workers at Least Minimum Wage”, en Communications of the acm, vol. 61, 


núm. 3, 2018, pp. 39-41, disponible en línea: <https://doi.org/10.1145/ 
3180492>, 


Fiabe LARA 


EL TRABAJO 107 


a sistemas de visión artificial hasta probar si un algoritmo 
está produciendo los resultados correctos) refina los sistemas 
de 1a de forma mucho más rápida y barata, en especial com- 


parado con pagarle a estudiantes para hacer estas tareas (como 


solía hacerse tradicionalmente). Por esta razón, se ha ignorado 
por lo general el tema y, como observó un eqtiipo que inves- 
tigaba el trabajo colaborativo externalizado, los clientes que 
usan estas plataformas “esperan que se completen trabajos sin 
supervisión, de forma barata y 'sin roces, como si la plataforma 
no fuera una interfaz para trabajadores humanos, sino una 
inmensa computadora sin gastos de manutención”? En otras 
palabras, los clientes tratan a los trabajadores humanos como 
si fueran poco más que máquinas, porque reconocer su trabajo 
y recompensarlo de manera justa volvería más cara y menos 
“eficiente” la 1a. 

A veces se les pide a los trabajadores que directamente fin- 
jan ser sistemas de 1a. La startup del asistente personal x.ai ase- 
guraba que su agente de 1a, llamado Amy, podía “programar 
reuniones mágicamente” y manejar muchas tareas cotidianas 
mundanas. Pero una investigación detallada de Bloomberg, rea- 
lizada por la periodista Ellen Huet, reveló que no se trataba en 
absoluto de una 1a. Amy era revisada y reescrita cuidadosamente 
por un equipo de trabajadores contratados para realizar largos 
turnos. De forma similar, el asistente personal de Facebook, M, 
dependía de la intervención humana regular de un grupo de 
trabajadores a los que se les pagaba por revisar y editar cada 
uno de los mensajes.” 


2 Ibid. 

2 Ellen Huet, “The Humans Hiding behind the Chatbots”, en Bloomberg, 
18 de abril de 2016, disponible en linea: <https://www.bloomberg.com/ 
news/articles/2016-04-18/the-humans-hiding-behind-the-chatbots>. 
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Fingir ser una 14 es un trabajo agotador. Los trabajadores 
de x.ai a veces realizaban turnos de catorce horas anotando 
correos electrónicos, para mantener la ilusión de que el servicio 


era automatizado y funcionaba las veinticuatro horas del día. 
Al terminar la noche, no podían irse hasta que no hubieran ter. 
minado con lo pendiente. “Me fui sintiendo completamente 
adormecido y carente de cualquier tipo de emoción”, 


le contó a 
Huet uno de los empleados.2 


Podríamos considerar esto una especie de 1a Potemkin: poco 
más que fachadas, diseñadas para demostrarles a los inversio- 
nistas y los medios crédulos cómo se vería un sistema automa- 
tizado, que en realidad depende de la mano de obra humana que 
trabaja tras bambalinas.25 Según una lectura amable, estas facha- 
das son ilustraciones de lo que el sistema podría ser Capaz si se 
hiciera realidad o un “producto mínimo viable” diseñado para 
demostrar un concepto. Una lectura menos amable ve los siste- 
mas de 1A Potemkin como una forma de engaño perpetrado por 
proveedores de tecnología ávidos de hacerse de un pedazo en el 
lucrativo pastel del espacio tecnológico. Pero hasta que no se 
encuentre una manera de crear 1A a gran escala sin el trabajo 
exhaustivo de humanos detrás de bambalinas, esta es la lógica 
central del funcionamiento de la‘ta. 

La escritora Astra Taylor ha descripto este tipo de sobreventa 
de sistemas de alta tecnología que no están realmente automati- 
zados como “fauxtomatizacién’ Los sistemas automatizados 
realizan, en apariencia, un trabajo que antes han realizado seres 
humanos; de hecho, el sistema simplemente se ocupa de coordi- 


74 Ellen Huet, “The Humans Hiding behind the Chatbots”, op. cit. 
°5 Véase Jathan Sadowski, “Potemkin ar, en Real Life, 6 de agosto de 2018. 
25 Astra Taylor, “The Automation Charade”, en Logic Magazine, 1° de 


agosto de 2018, disponible en linea: <https:/Mlogicmag io/failure/the-auto- 
mation-charade/>. 
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ün trabajo humano que ocupa un segundo plano. Taylor men- 
na los ejemplos de los quioscos de autoservicio en los res- 
cio! 


tantes de comida rápida y los sistemas de autopago en los 
tat 


rmercados, como lugares en los que el trabajo de un em- 
pleado parece haber sido remplazado por un SSC SE 
zado, cuando en realidad el trabajo de ingrésar z EE 
mente ha sido reubicado, para pasar del emplea o al cliente. 
Mientras tanto, muchos sistemas en línea que brindan icone 
aparentemente automatizadas, como la eliminación de Se as 
duplicadas o contenido ofensivo, en realidad son ejecutadas por 
seres humanos que están trabajando desde sus casas en Se 
infinita lista de tareas mundanas.? Al igual que los pue os 
decorados y los talleres modelo de Potemkin, machos yen 
automatizados valiosos presentan una combinación de trabaja- 
dores digitales mal pagados y consumidores que realizan tareas 
no remuneradas para conseguir que los sistemas funcionen. 
Mientras tanto, las empresas buscan convencer a S SE 
nistas y al público general de que las máquinas inteligentes est 

i abajo. 
ee ES SE con este artificio? Constantemente SS 
minimizan y pasan por alto los verdaderos costos Jaborales le 
la 1a, pero las fuerzas detrás de esta representación son See 
profundas que las meras artimañas del marketing, Son parte de 
una tradición de explotación y desprofesionalización En la que 
las personas deben hacer trabajos más tediosos y repetitivos e 
rellenar los sistemas automatizados y, así, obtener un see o 
que puede ser menos efectivo o confiable que el remplaza 
Pero este enfoque puede escalar, produciendo reducciones a 
costos y aumentos de los beneficios, mientras se boul Se : 
ello depende de que los trabajadores remotos reciban salario 


27 Ibid. 
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de subsistencia y descarguen tareas adicionales de manteni. 
miento o verificación en los consumidores. 


La fauxtomatización no remplaza directamente la mano de 
obra humana. Más bien la reubica y dispersa en el espacio y el 


tiempo. Al hacerlo, aumenta la desconexión entre la mano de 
Obra y el valor, cumpliendo de este modo con una función ideo- 
lógica. Al ser alienados del resultado de su trabajo, los trabaja- 
dores, a la vez que desconectados de otros trabajadores que 
hacen el mismo trabajo, quedan expuestos a ser explotados con 
mayor facilidad por sus empleadores. Esto resulta evidente 
cuando se miran las tasas extremadamente bajas de compensa- 
cién que reciben alrededor del mundo quienes trabajan en 
crowdsourcing?* Ellos y otros tipos de trabajadores de la faux- 
tomatización se enfrentan a una realidad extremadamente tan- 
gible; su trabajo es intercambiable por el de cualquiera de los 
miles de otros trabajadores que compiten con ellos para trabajar 
en esas plataformas. En cualquier momento pueden ser rempla- 
zados por otro colaborador, o posiblemente por un sistema más 
automatizado. 

En 1770, el inventor húngaro Wolfgang von Kempelen hizo 
un complejo ajedrecista mecánico. Construyó un gabinete de 
madera y un mecanismo de relojería, detrás del cual se sentaba 
un hombre mecánico de tamaño natural que podía jugar ajedrez 
y ganarles a sus oponentes. Este extraordinario artilugio se mos- 
tró por primera vez en la corte de la emperatriz María Teresa de 
Austria y, luego, a dignatarios y ministros de gobierno visitantes 
que quedaron completamente convencidos de que se trataba 
de un autómata inteligente. Esta maquina realista estaba vestida 
con un turbante, pantalones anchos y una túnica con adornos 


28 Mary L. Gray y Siddharth Suri, Ghost Work, op. cit. 
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piel que le daban un aire de “hechicero oriental”? Esta apa- 
„acia de carácter racial denotaba una otredad exótica, en una 
oca en que las élites de Viena solían tomar café turco y vestir 
asus sirvientes con ropajes turcos.*° Se lo llegó a conocer como 
el turco mecánico. Pero el autómata jugador de ajedrez era una 
elaborada ilusión: escondía a un maestro de ajédrez humano 
dentro de una cámara interna que operaba la máquina desde 
adentro, completamente fuera del campo visual. 

Unos doscientos cincuenta años después, el engaño sigue 
vivo. Amazon decidió nombrar Mechanical Turk a su plataforma 
de crowdsourcing basada en micropagos, a pesar de la asociación 
automática con el racismo y el engaño de la historia que inspira 
el nombre. En la plataforma de Amazon, los trabajadores reales 
permanecen fuera del campo visual para mantener la ilusión de 
que los sistemas de 1a son autónomos e inteligentes por acto 
de magia.3! La motivación inicial de Amazon para construir 
Mechanical Turk surgió de los fallos de sus propios sistemas de 
1a, que no podían detectar adecuadamente las páginas de pro- 
ductos que estaban duplicadas en su tienda. Después de una 
serie de intentos fútiles y costosos para resolver el problema, los 


- ingenieros del proyecto reclutaron seres humanos para llenar 


los vacíos de sus sistemas optimizados.32 Ahora Mechanical Turk 
conecta a las empresas con una masa invisible y anónima de tra- 


29 Tom Standage, The Turk. The Life and Times of the Famous Eighteenth- 
Century Chess-Playing Machine, Nueva York, Walker, 2002, p. 23. 

30 Ibid. 

31 Véase, por ejemplo, Ayhan Aytes, “Return of the Crowds: Mechanical 
Turk and Neoliberal States of Exception”, en Trebor Scholz (ed.), Digital 
Labor. The Internet as Playground and Factory, Nueva York, Routledge, 2013, 
p. 80. 

32 Lilly Irani, “Difference and Dependence among Digital Workers: The 
Case of Amazon Mechanical Turk”, en South Atlantic Quarterly, vol. 114, 
núm. 1, 2015, p. 225, disponible en línea: <https://doi.org/10.1215/00382876- 
2831665>. 
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bajadores que compiten entre sí por la oportunidad de traba; 
en una serie de microtareas. Mechanical Turk es un taller dis. 
tribuido masivamente en el que los humanos emulan y mejoran 


sistemas de 1a revisando y corrigiendo procesos algoritmicos S 


Es lo que el director ejecutivo de Amazon, Jeff Bezos, llama 
desvergonzadamente “inteligencia artificial artificial”33 

Estos ejemplos de 1a Potemkin están por todas partes. Algu- 
nos son evidentes: cuando vemos esos autos de ultima gene- 
ración que se manejan solos por la calle, también vemos un con- 
ductor en el asiento del piloto, listo para tomar el control del 
vehículo a la primera señal de peligro. Otros son menos notorios, 
como cuando interactuamos con una interfaz de chat en línea. 
Solo nos relacionamos con fachadas que encubren su funcio- 
namiento interno, diseñadas para esconder las distintas com- 
binaciones de trabajo mecanizado y humano en cada interac: 
ción. No se nos informa si estamos recibiendo una respuesta del 
sistema mismo o de un operador humano pagado para respon- 
der en su lugar. 

Si existe una incertidumbre creciente respecto a si estamos 
interactuando con un sistema de 1A o no, el sentimiento es 
mutuo. En una paradoja que muchos de nosotros hemos expe- 
rimentado, y para probar de manera ostensible una verdadera 
identidad humana a la hora de leer una página web, tenemos 
que convencer al recaPrcHa de Google de nuestra humanidad. 
Para ello seleccionamos diligentemente múltiples casillas que 
contienen números de calles o autos o casas. Estamos entrenando 
los algoritmos de reconocimiento de imágenes de Google de forma 
gratuita. Una vez más, el mito de que la 1a es asequible y eficiente 


33 Jason Pontin, “Artificial Intelligence, with Help from the Humans”, en 
The New York Times 25 de marzo de 2007, disponible en línea: <https://www. 
nytimes.com/2007/03/2 5/business/yourmoney/25Stream.html>. 
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S depende de capas de explotación, incluida la extracción de mano 


obra masiva no remunerada para ajustar los sistemas de 1a de 


las compañías más ricas del mundo. 


Las formas contemporáneas de la 14 no son ni artificiales ni 


inteligentes. En cambio, lo que podemos —y debemos— hacer es 


hablar del duro trabajo físico de los mineros, del trabajo repeti- 


= tivo en la línea de montaje de las fábricas, del trabajo cibernético 


en los talleres cognitivos clandestinos de programadores exter- 
nos, del trabajo mal remunerado en Mechanical Turk, de los 
trabajadores contratados por medio de crowdsourcing y del tra- 
bajo inmaterial no pagado de los usuarios diarios. Estos son los 
lugares en los que podemos ver que la computación aa 
depende de la explotación de la mano de obra a lo largo de toda 
la cadena de suministros de extracción. 


VISIONES DE DESENSAMBLE Y AUTOMATIZACIÓN DEL 
LUGAR DE TRABAJO: BABBAGE, FORD Y TAYLOR 


Charles Babbage es conocido como el inventor de la primera 
computadora mecánica. En la década de 1820, desarrolló la dea 
para la máquina diferencial, una calculadora ne disefia- 
da para generar tablas matemáticas y astronómicas en una EE 
ción del tiempo que tomaba calcularlas a mano. Para 198 años 
treinta, tenía un diseño conceptual viable para la máquina ana- 
lítica, una computadora mecánica programable de uso general 
que poseía un sistema de tarjetas perforadas para proporcionarle 
instrucciones.?** 


i ” f the Analytical 
34 Luigi Federico Menabrea y Ada Lovelace, Sketch oft y i 
Battes by Charles Babbage”, en The Analytical Engine, disponible 
en linea: <https://www.fourmilab.ch/babbage/sketch. html>. 
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Babbage también tenía un gran interés por el Hberalismo 
escribió extensamente sobre la naturaleza del trabajo, la co; 


binación de sus intereses en la computación y la automatización 
de los trabajadores. Siguiendo a Adam Smith, se dio cuenta de 


que la división del trabajo era un medio para optimizar el traba. 
jo en las fábricas y generar eficiencia. Fue más allá, sin embargo, 
al argumentar que una empresa industrial podía verse como 
análoga a un sistema computacional. Al igual que una compu- 
tadora, incluía múltiples unidades especializadas que desarro. 
Haban tareas particulares, todas coordinadas para producir un 
resultado determinado, pero ocultando el trabajo por el proceso 
como conjunto. 

En sus escritos más especulativos, Babbage se imaginó el 
trabajo fluyendo de manera perfecta a través de un sistema que 
podría visualizarse con tablas de datos, monitoreado por podó- 
metros y relojes repetidores. Argumentó que, por medio de una 
combinación de computación, vigilancia y disciplina de trabajo, 
sería posible imponer grados de eficiencia y control de calidad 
aún mayores.*6 Una visión extrañamente profética. Ha sido solo 
en años muy recientes, con la adopción de la ta en el lugar de 
trabajo, que los inusuales objetivos dobles de Babbage, de la comi 
putación y la automatización de los trabajadores, se han podido 
implementar a escala. $ 

El pensamiento económico de Babbage provenía de Smith, 
pero divergía significativamente en un aspecto. Para Smith, el 
valor económico de un objeto se entendía en relación con el costo 
de la mano de obra que se requería para producirlo. En el modelo 


3 Charles Babbage, On the Economy of Machinery and Manufactures 
[1832], Cambridge, Cambridge University Press, 2010, Pp. 39-43. 

"7 El interés de Babbage por los procesos de control de calidad evidente- 
mente surgió mientras intentaba (en vano) establecer una cadena de sumi- 
nistro confiable para los componentes de sus motores de cálculo. 


Simiki aiee iN 


máquinas siguiendo instrucciones. 
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bage, sin embargo, el valor en una fábrica derivaba de la 
teca en el diseño del proceso de fabricación más que 
a fuerza laboral de sus empleados. La verdadera innovación 
a en el proceso logistico, mientras que los trabajadores sim- 
Jemente realizaban las tareas definidas para ellos y operaban las 


Para Babbage, el papel de la mano de obra en la Seen de 
moción era en gran medida negativo: los trabajadores po z 
no cumplir con sus tareas en los tiempos Ge Se 
máquinas de precisión que operaban, ya fuera por ma! e > 
lina, lesiones, ausentismo o actos de ree SE e ‘ 
tado el historiador Simon Schaffer, “Ibjajo la mirada al A | 
las fábricas tenían la apariencia de máquinas per ey 7 e | 
calculadoras, la de computadoras perfectas. La e a is é | 
podía ser una fuente de problemas (podía hacer que fal aran s 
tablas o que fracasaran las fábricas), pero no podía ser vista m á 
una fuente de valor”?” La fábrica se concebía como una des S 
ladora racional con una sola debilidad: su frágil y poco confiable 
boral humana. 
cpp’ de Babbage estaba, por supuesto, fuertemente 
influida por un tipo de liberalismo finanta que lo. hacía ver 
la mano de obra como un problema que había que contener F 
medio de la automatización. No se pensaba demasiado en pe 
costos humanos de esta automatización o en si esta SR 
zación podía utilizarse para mejorar las vidas de los obreros de 
las fábricas. En cambio, la maquinaria idealizada de Babbage 
pretendía principalmente maximizar los retornos financieros 
para los dueños de las fábricas y sus inversores. De manera 


37 Simon Schaffer, “Babbage's Calculating Engines and the Pao oe, 
en Réseaux, The French Journal of Communication, vol. 4, núm. 2, 1996, p. 280, 
disponible en línea: <https://doi.org/10.3406/reso.1996.3315>. 
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irenes llevaban el ganado directo a las puertas del matade- 
los animales eran encauzados hacia su matanza en plantas 
dyacentes y los cadáveres eran transportados a diversas esta- 
ciones de despiece y procesamiento por medio de un sistema 
mecanizado de carros elevados, formando lo que llegaría a ser 
conocido como línea de desensamble. Los products resultantes 

dían ser enviados a mercados lejanos en vagones refrigerados 
diseñados especialmente para ello.*0 El historiador laborista 
Harry Braverman señala que los mataderos de Chicago llevaron 
a cabo tan al pie de la letra la visión sobre la automatización y 
la división del trabajo de Babbage que las técnicas humanas 
requeridas en cualquier punto de la línea de desensamble podían 
ser realizadas por prácticamente cualquier persona." A los tra- 
bajadores poco calificados se les podía pagar lo mínimo y rem- 
plazarlos ante cualquier adversidad, lo que los convertía, de este 


similar, hoy en día los defensores de la 14 en el lugar de trabaj 
presentan una visión de la producción que prioriza la eficiencia, 
la reducción de costos y el aumento de las ganancias, en vez de 
por ejemplo, ayudar a los empleados remplazando el trabajo 
pesado y repetitivo. Como argumenta Astra Taylor, “el tipo de 
eficiencia al que aspiran los tecno-evangelistas pone énfasis en 
la estandarización, la simplificación y la velocidad, no en la di- 
versidad ni la complejidad o la interdependencia”.3 Esto no de- 
bería sorprendernos: es la conclusión lógica y necesaria para el 
modelo comercial estándar de cualquier empresa con fines de 
lucro, donde la mayor responsabilidad se tiene con los accionis- 
tas. Estamos viviendo el resultado de un sistema en el que las 
compañías deben extraer todo el valor posible. Mientras tanto 
el 94% de todos los trabajos creados en Estados Unidos entre 
los años 2005 y 2015 fueron para “trabajos alternativos”, es decir; 
aquellos que quedan fuera de la categoría de empleo asalariado modo, en productos tan mercantilizados como las carnes empa- 
y de tiempo completo.” Mientras las compañías cosechan Joe 7 quetadas que producían. 
beneficios de aumentar la automatización, la gente trabaja en / Cuando Upton Sinclair escribió La jungla, su desgarradora 
a E más trabajos, por menos dinero y sin novela sobre la pobreza de la clase obrera, la ambientó en las 
i : plantas procesadoras de carne de Chicago. Aunque su intención 
i era subrayar las dificultades de los trabajadores inmigrantes, 
buscando apoyar una visión política socialista, el libro tuvo un 
efecto completamente distinto. Las descripciones de la carne en 
A EA , mal estado provocaron protestas generalizadas sobre la higiene 
la adoptar el tipo de línea de : de los alimentos, lo que resultó en la aprobación de la ley de Ins- 
producción mecanizada que había imaginado Babbage fue la 
industria procesadora de carne de Chicago en la década de 1870. 


EL MERCADO DE LA CARNE 


40 Jan Rehmann, “Taylorism and Fordism in the Stockyards", en Max 
Weber. Modernisation as Passive Revolution, Leiden, Brill, 2015, p. 26. 

41 Harry Braverman, Labor and Monopoly Capital. The Degradation of 
Work in the Twentieth Century, Nueva York, Monthly Review Press, 1998, 
pp. 56 y 67 [trad. esp.: Trabajo y capital monopolista. La degradación del 
trabajo en el siglo xx, México, Nuevo Tiempo, 1984], y Joshua Specht, Red 
Meat Republic. A Hoof-to-Table History of How Beef Changed America, Prince- 
ton, Princeton University Press, 2019. 


38 Astra Taylor, The Peoples Platform. Taking Back i 
Ast E i Power and Cultus 
the Digital Age, Londres, Picador, 2015, p. 42. ‘ Se? 
3? Lawrence E Katz y Alan B. Krueger, “The Rise and Nature of Alternative 
Work Arrangements in the United States, 1995-2015” en mr Review, vol. 72, 
núm. 2, 2019, pp. 382-416. e 
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pección de Carnes en 1906. Pero el foco sobre los trabajado; 
i 


fue ignorado. Algunas instituciones poderosas, desde la ind 

procesadora de la carne hasta el Congreso, estäbän pre Be 
para mejorar los métodos de producción, pero ni geseet 
pasaba por la cabeza abordar las más básicas dinámicas Ree 


les explotadoras que apuntalaban todo el sistema. La persiste: 
H de ` E 
cia de este patrón subraya la manera que tiene el poder d 
ÓN € 
responder a la crítica: ya sea que el producto sean Cadáveres de 
vacas o reconocimiento facial, la respuesta es aceptar regulacio- 
nes en los márgenes, pero no t Ógica 
A ocar la lógica subyac 
producción. i a 
, Otras dos figuras cobran importancia en la historia de la 
utomatización del lugar de trabajo: Henry Ford, cuya cadena 


i 
E 
$ 


Preparación de carne de vaca Armour, 1952. 
Cortesia de Chicago Historical Society. 
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montaje en movimiento de principios del siglo xx se inspiró 
Jas líneas de desensamble de Chicago, y Frederick winsl{@] 
Jor, el fundador de la administración científica. Taylor cons- 
truyó una carrera en los últimos años del siglo x1x desarro- 
flando un acercamiento sistemático a la administración del 
jugar del trabajo que se centraba en los movimientos de los 
cuerpos de los trabajadores por minuto. Mientras que la noción. 

de división del trabajo de Smith y Babbage pretendía propor- 
cionar una manera de distribuir el trabajo entre las personas 

y las herramientas, Taylor estrechó su enfoque para incluir 
subdivisiones microscópicas de las acciones de cada trabajador. 

Al ser la tecnologia más moderna para marcar con precisió 

el paso del tiempo, el cronómetro se volvió un instrumento Se 
para vigilar el lugar de trabajo, tanto para los supervisores de 
planta como para los ingenieros de producción. Taylor usó cro- 
nómetros para llevar a cabo estudios sobre los obreros, en los 
que se incluían informes detallados sobre el tiempo que emplea- 
ban en realizar los movimientos elementales que cada tarea 
requería. Sus principios de administración científica establecidg)| 
un sistema para cuantificar los movimientos de los cuerpos de 
los obreros, con miras a derivar de ello una disposición eficien- 
temente óptima de las herramientas y los procesos del trabajo. 
El objetivo era una máxima producción a un costo minimo.” 
Ejemplificaba la descripción de Marx sobre el dominio del tiempo 
del reloj: “El tiempo lo es todo, el hombre no es nada; es, a lo 


sumo, el esqueleto del tiempo”* 


42 Frederick Winslow Taylor, The Principles of Scientific Management, 
Nueva York, Harper and Brothers, 1911 [trad. esp.: Henri Fayol y Frederick 
Winslow Taylor, Administración industrial y general. Principios de la admi- 
nistración científica, Barcelona, Orbis, 1987]. 

43 Karl Marx, The Poverty of Philosophy, Nueva York, Progress, 1955, p. 22 
[trad. esp.: Miseria de la filosofía, Barcelona, Aguilar, 1973]. 
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Foxconn, la empresa más grande de fabricación de produc. 
tos electrónicos en el mundo, responsable de la nn 
de los iPhones y los iPads de Apple, es un claro ejemplo de e 
los trabajadores pueden ser reducidos a meros Cuerpos bs 
les que realizan tareas controladas muy de cerca. Foxconn aoh 
notoriedad por sus rígidos y militaristas protocolos de Ee: 
después de una serie de suicidios en 2010.4 Solo dos años Ae 
pués, el presidente de la compañía, Terry Gou, describía a su E. 
de un millón de empleados de este modo: “Los seres himan 
también son animales, y gestionar a un millón de animales a 
duce dolor de cabeza” 45 de 
Controlar el tiempo se ha vuelto Otra manera de gestion, 
cuerpos. En las industrias de servicios y comida rápida, se cas 
tan hasta los segundos. Los trabajadores que cocinan hamb 
guesas en la línea de montaje de McDonald's son evaluados Ge 
cumplir con metas como cinco segundos para procesar los pedi- 
dos hechos en la ventanilla, veintidós para armar un nies 
Catorce para envolver la comida.46 Adherirse estrictamente a estaa 
plazos disminuye el margen de error del sistema. El más ligero 
retraso (un cliente que se demora demasiado en hacer su pedido, 
una máquina de hacer café que falla, un trabajador que falta al 
trabajo por estar enfermo) puede resultar en una cascada de retra- 
Sos, sonidos de advertencia y notificaciones de la administración. 


and How It Drives America I i 
2019 p 27, a Insane, Nueva York, Little, Brown and Company, 
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incluso antes de que los trabajadores de McDonald's se 
pongan frente a la línea de montaje, su tiempo ya es gestionado 
y monitoreado. Un sistema algorítmico de planificación, que 
incorpora datos históricos y modelos de predicción de los pedi- 
dos, determina la asignación de turnos, lo que. a su vez resulta 
en horarios de trabajo que pueden variar de semana a semana 
eincluso de un día para otro. Una demanda colectiva interpues- 
ta en 2014 contra los locales de McDonald's en California indi- 
caba que las franquicias estaban dirigidas por un software que 
hacía predicciones algorítmicas respecto a la proporción de 
empleados y ventas, e instruía a los gerentes a reducir el per- 
sonal rápidamente cuando la demanda bajaba.“ Los empleados 
informaron que se les dijo que no marcaran tarjeta y que, en 
cambio, se mantuvieran cerca del local, listos para regresar al 
trabajo en caso de que llegaran más clientes. Debido a que solo 
se les paga a los empleados por el tiempo fichado, la demanda 
alegaba que esta práctica significaba un robo del salario por 
parte de la compañía y sus franquicias. *8 

Las asignaciones de tiempo que se determinan a partir de 
algoritmos pueden variar, desde turnos extremadamente cortos 
de una hora o menos hasta muy largos durante las horas pico, 
dependiendo de su rentabilidad. El algoritmo no considera los 
costos humanos de tener que esperar o llegar a trabajar solo 
para ser enviado de vuelta a casa ni tampoco lo que conlleva la 
incapacidad de predecir el propio horario y planear la vida pro- 
pia. Este robo del tiempo ayuda a la eficiencia de la compañía, 
pero con un costo directo para los empleados. 


47 Steven Greenhouse, “McDonald's Workers File Wage Suits in 3 States”, 
en The New York Times, 13 de marzo de 2014, disponible en línea: <https:// 
www.nytimes.com/2014/03/14/business/mcdonalds-workers-in-three-states- 
file-suits-claiming-underpayment html>. 

48 Ibid. 
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GESTIONAR EL TIEMPO, 
PRIVATIZAR EL TIEMPO 


El empresario de la comida ra 
formar McDonald's en una franquicia global, se sumó al linaje 
de Smith, Babbage, Taylor y Ford al diseñar la cadena estándar de 
g montaje de sándwiches y obligar a sus trabajadores a seguirla 

sin pensarlo. La vigilancia, la estandarización y la reducción de 
la destreza individual eran centrales para el método de Kroc. 
Como los investigadores laboristas Claire Mayhew y Michael 


Quinlan han sostenido en relacién con el proceso de estanda- 
rización de McDonald's, 


el sistema de gestión fordista documentaba el trabajo y las 
tareas de producción hasta el detalle más minúsculo. Requería 
Una participación continua y bien documentada, e implicaba un 
control detallado del proceso de trabajo de cada individuo. Prác- 


ticamente la totalidad del trabajo conceptual se eliminó de la 
ejecución de tareas. 


Dentro de la fábrica Ford, minimizar el tiempo empleado en cada 
estación, o tiempo de ciclo, se volvió objeto de intenso escrutinio, 
con los ingenieros subdividiendo cada tarea en pedazos cada 
vez más pequeños para que pudierán optimizarse y automati- 
zarse, y los supervisores disciplinando a los trabajadores cada 
vez que se atrasaban. A menudo, se veía a los supervisores, in- 
cluso al mismo Henry Ford, caminando a lo largo de la fábrica, 


% Claire Mayhew y Michael Quinlan, “Fordism in the Fast Food Industry: 
Pervasive Management Control and Occupational Health and Safety Risks 
for Young Temporary Workers”, en Sociology of Health and Miness, vol. 24, 


núm. 3, 2002, pp. 261-284, disponible en línea: <https://doi.org/10.1111/1467- 
9566.00294>. 
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50 Ifeoma Ajunwa, Kate Crawford y Jason Schultz, Eere Wore ou 
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de vigilancia se los justifica porque producen entradas para los 
sistemas de planificación algorítmicos que regulan todavía más 
el horario laboral, recopilan señales de comportamiento que 
pueden correlacionarse con signos de alto o bajo rendimiento 
o simplemente se venden a agentes de datos como un tipo de 
información. 

En su ensayo “How Silicon Valley Sets Time”, la profesora de 
sociología Judy Wajcman argumenta que las metas de las herra- 
mientas que monitorean el tiempo y la composición demográfica 
de Silicon Valley no son coincidencia.’ La élite de la fuerza labo- 
ral de Silicon Valley “es incluso más joven, más masculina y está 
todavía más comprometida a trabajar a toda hora", a la vez que 
crea herramientas de productividad basadas en una especie de 
carrera despiadada hacia la máxima eficiencia, en la que el gana- 
dor se lleva todo.* Esto quiere decir que algunos ingenieros 
jóvenes, en su mayoría hombres y a menudo libres de respon- 
sabilidades familiares o comunitarias, están construyendo las 
herramientas con las que se vigilarán lugares de trabajo muy 
distintos entre sí, cuantificando la productividad y la convenien- 
cia de los empleados. La adicción al trabajo y un horario ince- 
sante, a menudo glorificados por las nuevas empresas tecnoló- 
gicas, se vuelven el punto de referencia implícito con el que se 
mide a los empleados, lo que produce una visión estándar del 
trabajador que es masculinizada y estrecha, y depende del tra- 
bajo no remunerado o mal remunerado de otros. 


bre de 2019, disponible en línea: <https://www.theguardian.com/commen- 
tisfree/2019/oct/1 5/the-dominos-pizza-checker-is-just-the-beginning-work- 
place-surveillance-is-coming-for-you>. 

53 Judy Wajcman, “How Silicon Valley Sets Time”, en New Media and 
Society, vol. 21, núm. 6, 2019, pp. 1272-1289, disponible en línea: <https:// 
doi.org/10.1177/1461444818820073>. 

54 Ibid, p. 1277. 
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TIEMPO PRIVADO 


La coordinación del tiempo se ha vuelto aún más granular en las 
formas tecnológicas que gestionan los lugares de trabajo. Por ejem- 
plo, el protocolo de producción automatizada [manufacturing 
automation protocol (MAP) de la General. Motofs respondía a un 
temprano intento por proporcionar soluciones estándares a los 
problemas de siempre a la hora de coordinar robots productores, 
incluida la sincronización de relojes.” A su debido tiempo, sur- 
gieron protocolos de tiempo más genéricos que podían enviarse 
a través de las redes de ethernet y TCP/IP, como el protocolo de 
tiempo de red [network time protocol (NTP)] y más tarde el protocolo 
de tiempo de precisión [precision time protocol (ere), cada uno de 
los cuales generó una variedad de implementaciones que compe- 
tian a lo largo de varios sistemas operativos. Tanto el NTP como el 
PrP funcionan estableciendo una jerarquía de relojes a lo largo de 
una red, con un reloj “maestro” dirigiendo a los relojes “esclavos”. 

En la ingeniería y el cálculo abunda la metáfora maestro- 
esclavo. Uno de sus primeros usos se remonta a 1904, para des- 
cribir los relojes astronómicos en un observatorio de Ciudad del 
Cabo.5S Pero la terminología recién se extendió en la década de 
1960, sobre todo después de empezar a usarse en la computa- 
ción, con el sistema de tiempo compartido de Dartmouth. Si- 
guiendo una sugerencia de John McCarthy, uno de los primeros 
fundadores de la 1a, los matemáticos John Kemeny y Thomas 


55 Walter Gora, Ulrich Herzog y Satish Tripathi, “Clock Synchronization 
on the Factory Floor (FMS)”, en 1EEE Transactions on Industrial Electronics, 
vol. 35, núm. 3, 1988, pp. 372-380, disponible en línea: <https://doi. 
org/10.1109/41.3109>. f ; 

56 Ron Eglash, “Broken Metaphor: The Master-Slave Analogy in Technical 
Literature”, en Technology and Culture, vol. 48, núm. 2, 2007, p. 361, dispo- 
nible en línea: <https//doi.org/10.1353/tech.20070066>. 
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Kurtz desarrollaron un programa de tiempo compartido para 
acceder a los recursos computacionales. Como escribieron en 


la revista Science en 1968: 


En primer lugar, la computación de todos los usuarios se lleva a 
cabo en la computadora esclava, mientras 


que el programa eje- 
cutivo (el “cerebro” 


del sistema) reside en la computadora maes- 
tra, Es, por lo tanto, imposible que un programa de usuario erró- 


neo o fuera de control “dañe” el Programa ejecutivo y detenga 
todo el sistema.57 


Esta problemática inferencia (que el control es equivalente a la 
inteligencia) seguiría delineando el campo de la 1a durante déca- 
das. Y, como Ron Eglash ha señalado, la forma en que ha sido 
redactada recuerda al discurso anterior a la guerra civil sobre 
los esclavos fugitivos.58 
Muchos han considerado ofensiva la terminología maestro- 

esclavo y ha sido removida de Python, un lenguaje de progra- 
mación que se aplica a menudo en el aprendizaje automático, 
y de Github, una plataforma de desarrollo de Software. Pero se 
mantiene en una de las infraestructuras computacionales más 

extensas del mundo. El Cloud Spanner de Google, así llamado 
porque abarca todo el planeta,* es una base de datos masiva, 

distribuida globalmente y con replicación sincrónica. Es la 
infraestructura en la que se ejecutan Gmail, el buscador, la publi- 
cidad y todos los servicios de distribución de Google. 


57 John Kemeny y Thomas Kurtz, “Dartmouth Timesharing’, en Science, 
vol. 162, 1968, p. 223. 


58 Ron Eglash, Op, cit, p. 364. 
*En inglés, una de las acepciones de la palabra “span” es “abarcar”. Por 


otro lado, ‘spanner’ también puede hacer referencia a una llave de tuerca, 
como indica su logo. IN. del T] 
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Aesta escala, funcionando en todo el mundo, Spanner sincro- 
piza el tiempo a lo largo de millones de servidores en centos de 
centros de datos. Cada centro de datos tiene una unidad © 
tra del tiempo” que está siempre recibiendo la hora del eps. 
debido a que los servidores estaban siempre gondeando una 
variedad de relojes maestros, solía habertuna latencia, en la red 
yuna desviación en el reloj. ¿Cómo resolver esta incertidumbre? 
La respuesta fue crear un nuevo protocolo de tiempo distribuido, 
una forma registrada del tiempo, de manera que todos los ser- 
vidores pudieran estar sincronizados independientemente de 
dónde estuvieran en el planeta. Google nombró a este nuevo pro- 
tocolo, sin ironía, TrueTime [tiempo real]. 

TrueTime es un protocolo de tiempo distribuido que un 
ciona estableciendo relaciones de confianza entre los relojes 
locales de los centros de datos, de manera tal que ellos decidan 
con qué pares sincronizarse. Al beneficiarse de una cantidad lo 
suficientemente grande de relojes confiables, incluidos recep- 
tores GPS y relojes atómicos, que brindan un grado muy alto de 
precisión, y de unos niveles de latencia de red lo suficientemente 
bajos, TrueTime permite que un conjunto de servidores distal 
buidos garantice que los eventos ocurran en una secuencia 
determinada a través de una red de área amplia.5? 

Lo más llamativo de este sistema de tiempo privatizado de 
Google es la forma en que TrueTime gestiona la Sieg 
cuando un reloj se atrasa en algún servidor individual. “Si la 
incertidumbre es grande, Spanner reduce la velocidad para epe 
rar a que se termine”, explican los investigadores de Google? 


59 Eri T, “Spanner, TrueTime and the cap Theorem”, en Infrastruc- 
ture: Se de 2017, disponible en línea: <https://storage. 
googleapis.com/pub-tools-public-publication-data/pdf/4585 pare E 

é0 James Corbett et al, “Spanner: Google's Globally-Distribute rit pase’, 
en Proceedings of os 2012, 2012, p. 14, cit. en Brian House, “Synchronizing 
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Esto encarna la fantasía de lentificar el tiempo, de moverlo a 
voluntad y poner al planeta entero bajo un único código regis- 
trado del tiempo. Si pensamos en la experiencia humana del 
tiempo como algo cambiante y subjetivo, que se mueve más 
rápido o más lento dependiendo de dónde estamos y con quién; 
entonces se trata de una experiencia social del tiempo. TrueTi 
sería, entonces, la capacidad de crear un marco temporal EN 
biante bajo el control de un reloj maestro centralizado. Al igual 
que Isaac Newton se imaginó una forma absoluta del tiempo que 
existía independientemente de quien lo percibiera, Google ha 
inventado su propia forma de tiempo universal. 

Durante muchos años, se han utilizado las formas patenta- 
das del tiempo para que las máquinas funcionen con mayor 
eficacia. Los magnates de los ferrocarriles en el siglo XIX tenían 
sus propias formas del tiempo. En la Nueva Inglaterra de 1849, 
por ejemplo, todos los trenes debían adoptar “el tiempo real de 
Boston, como lo indica William Bond & Son, en el número 26 
de la calle Congress" 3 Como ha documentado Peter Galison, 
a los ejecutivos de los ferrocarriles no les gustaba tener que 
cambiar horario cuando sus trenes viajaban a otros estados; de 
hecho, el gerente general de la compañía de ferrocarriles New 
York & New England calificó el cambio a otros horarios como 
“una molestia y un gran inconveniente, que no sirve de nada, 
que yo sepa”.$? Pero después de que un choque frontal de trenes 
matara a 14 personas en 1853, hubo una presión inmensa para 


Uncertainty: Google's Spanner and Cartographic Time”, en Helen Pritchard, 
Eric Snodgrass y Magda Tyzlik-Carver (eds.), Executing Practices, Londres, 
Open Humanities Press, 2018, p. 124. 

61 Peter Galison, Einstein's Clocks, Poincaré’s Maps. Empires of Time, Nueva 
York, W. W. Norton, 2003, p. 104 [trad. esp.: Relojes de Einstein, mapas de 
Poincaré. Los imperios del tiempo, Barcelona, Crítica, 2005]. 

62 Ibid, p. 112. 
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que coordinaran todos los relojes a partir de la nueva tecnología 
del telégrafo. 

Al igual que la 14, el telégrafo fue aclamado como una tec- 
nología unificadora que expandiría el potencial humano. En 1889, 
lord Salisbury se jactó de que el telégrafo había “reunido a toda 
Ja humanidad sobre un gran plano”.$3 Las empfesas, los gobier- 
nos y los ejércitos usaron el telégrafo para compilar el tiempo 
en un diseño más coherente, borrando las formas más locales 
de precisión. Y el telégrafo fue dominado por uno de los pri- 
meros grandes monopolios industriales, Western Union. El teó- 
rico de las comunicaciones James Carey sostiene que el telé- 
grafo, además de alterar los límites temporales y espaciales de 
la interacción humana, permitió una nueva forma de capitalismo 
monopólico, “un nuevo conjunto de leyes, teoría económica, 
disposiciones políticas, técnicas de gestión, estructuras organi- 
zativas y bases científicas con las cuales justificar y hacer efec- 
tivo el desarrollo de una corporación privada monopédlica" Si 
bien esta interpretación implica un tipo de determinismo tec- 
nológico, pues considera una serie de desarrollos complejos, es 
justo afirmar que el telégrafo, junto con el cableado transatlán- 
tico, permitió a los poderes imperiales mantener un control cen- 
tralizado de sus colonias. 

El telégrafo hizo del tiempo el foco central del comercio. Los 
comerciantes, en vez de explotar la diferencia de precios entre 
las regiones comprando barato y vendiendo caro, ahora comer- 
ciaban entre zonas horarias; en palabras de Carey, se trató de 
un giro del espacio al tiempo, de las intermediaciones financie- 


$3 Colette Colligan y Margaret Linley (eds.), Media, Technology, and Lite- 
rature in the Nineteenth Century. Image, Sound, Touch, Burlington, Ashgate, 
2011, p. 246. 

James W. Carey, “Technology and Ideology: The Case of the Telegraph’, 
en Prospects, vol. 8, 1983, pp. 303-325. 
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temporalidad impuesta del trabajo, con las nuevas formas de 

ancia algorítmica y vigilancia por video, esto se vuelve 
¡cho más difícil, ya que la relación entre trabajo y tiempo es 
observada cada vez más de cerca, 

Definir el tiempo es una estrategia establecida para cent 
Goar el poder, desde las puntillosas modulaciónes del tiem: 
dentro de las fábricas hasta las grandes modulaciones de las redes 
de computación planetaria. Los sistemas de 1a han permitido una 
mayor explotación de la mano de obra distribuida a lo largo del 
mundo para aprovecharse de las topologías económicas desigua- 
les. Al mismo tiempo, el sector tecnológico está creando para sí 
mismo un terreno de tiempo global tranquilo para fortalecer y 
acelerar sus objetivos comerciales. Controlar el tiempo, ya sea a 
través de los relojes de las iglesias, los trenes o los centros de 
datos, siempre ha tenido una función de controlar el orden polí- 
tico. Pero esta batalla por el control nunca ha sido tranquila y 
es un conflicto de largo alcance. Los trabajadores han descu- 
bierto maneras de intervenir y resistir, incluso cuando se les 
impusieron los desarrollos tecnológicos o estos se les presenta- 
ron como mejoras deseables, en particular cuando las mejoras 
se destinaban únicamente a aumentar la vigilancia y el control 


de la compañía. 


FIJAR EL RITMO 


Amazon hace todo lo posible por controlarlo que el público puede 
ver cuando entra a uno de sus centros logísticos. Se nos informa 
sobre el salario mínimo de 15 dólares la hora y de las ventajas 
para los empleados que consiguen durar más de un año; se nos 
muestran salas de descanso intensamente iluminadas, cuyas pare- 
des están adornadas con lemas corporativos orwellianos: “Fruga- 
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lidad”, “Gánate la confianza de los demás" y “Predispuestos 


endo por medio, 
lado a las Pregunt, 


son mucho más difíciles de gestionar. 

En el piso de recolección, donde lo 
ger los contenedores grises llenos de c 
pachar, las pizarras muestran las huell 
En una se ven múltiples quejas sobr 
contenedores, con el consiguiente dolor y lesiones que causa 
tener que estirarse constantemente Para alcanzarlos. Cuando se 
le pregunta al respecto, el guia de Amazon responde con rapidez 
que se bajó la altura de la cinta transportadora en secciones 
clave, lo que ven como un éxito: se registró una queja y se está 
haciendo algo al respecto, El guía aprovecha esta oportunidad 
para explicarnos por segunda vez que esta es la razón por la que 
los sindicatos son innecesarios en este lugar, ya que “los asocia- 
dos tienen muchas Oportunidades para interactuar en persona 
Con sus supervisores”, y la sindicalización solo sirve para inter- 
ferir con la comunicación. 
Sin embargo, saliendo de la fábrica, paso junto a una trans- 
misión en vivo, en una pantalla gigante, de mensajes escritos 
por los empleados, con un letrero que dice: 
ciados”. Estos mensajes resultan mucho men 
suceden rápidamente, con quejas sobre c 
arbitrarios, la imposibilidad de agendar vac 
festividades y el haberse perdido cumplea 
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liares. Las respuestas trilladas de la gerencia se asemejan a dis 
versiones de “valoramo: comentarios 
tintas rsiones d aloramos tus coment. 

Ya es suficiente. Amazon, queremos que nos trates como 
seres humanos y no como robots” Estas son las palabras de 
Abdi Muse, director ejecutivo del Awood Center de Mit 1e4polis, 
una organización comunitaria que aboga por las condiciones 
laborales de las poblaciones de Africa Orie ital en Minnesota. 
Muse es un hombre tranquilo, que defiende a los trabajadores 
de los centros de Amazon que buscar mejores condiciones de 

) 


en ar Now 2019 Symposium, en al Now 


6 Abdi Muse, “Organizing Tech’, <https:/ /ainowinstitute.org/symposia/ 


Institute, 2019, disponible en linea: 
2019-symposium.html>. 
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trabajo. Muchos de los trabajadores de su comunidad han sido 
Sido 

contratados por Amazon, que los reclutó activamente e incluso 
o 


les agregó alicientes, como transporte gratis al trabajo 


Lo que Amazon no les contó fue “el ritmo”: la métrica de 
ductividad de los trabajadores que impulsa a los centros on 
ticos, y que rápidamente se volvió insostenible y, según Mu e 

` e, 


inhumana. Los trabajadores comenzaron a sufrir mucho estré 
lesiones y enfermedades. Muse explicé que, si su ritmo bala 

tres veces, serían despedidos sin importar cuánto tiempo hub, 
ran trabajado en el centro. Los empleados mencionaban habe 
tenido que saltarse las pausas para ir al baño por miedo a baja 
su rendimiento. e 

Pero el día en que nos conocimos, Muse estaba Optimista, 
A pesar de que Amazon se opone explícitamente a los sindica- 
tos, grupos informales de trabajadores estaban surgiendo a lo 
largo de Estados Unidos organizando protestas. Sonrió amplia- 
mente mientras informaba que haberse organizado estaba 
empezando a dar frutos, a tener un impacto. “Algo increíble está 
sucediendo —me contó—. Mañana un grupo de trabajadoras de 
Amazon hará un paro. Es un grupo muy valiente de mujeres; 
ellas son las verdaderas heroinas"” En efecto, esa noche apró: 
ximadamente sesenta trabajadoras de depósito se declararon en 
huelga en un centro de entregas.en Eagan, Minnesota, con los 
chalecos amarillos que tienen que usar obligatoriamente en su 
trabajo puestos. Eran en su mayoría mujeres de ascendencia 
somalí y llevaban carteles bajo la lluvia pidiendo aumentos 
salariales para los turnos de noche y restricciones de peso en 
las cajas.”! Tan solo unos días antes, los trabajadores de Amazon 


70 Abdi Muse, conversación 
d personal con la autora, 2 de octubre de 
W SC Kaori Gurley, “60 Amazon Workers Walked Out over Sc 
orking Conditions”, en Vice (blog), 3 de octubre de 2019, disponible en 
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Sacramento, California, habian protestado por el despido de 
a trabajadora que había llegado una hora después de que 
caducara su licencia por duelo tras la muerte de un familiar, 
Dos semanas antes de eso, más de mil empleados de Amazon 
otagonizaron la primera huelga de trabajadgres de cuello 
blanco enla historia de la compañía para protestar por la enorme 
huella de carbono de la empresa. 

Eventualmente, los representantes de Amazon en Minnesota 
se sentaron a la mesa. Estaban felices de discutir muchos temas, 
exceptuando “el ritmo”. “Nos dijeron: olvídense de eso —recuerda 
Muse—. Podemos hablar de otros asuntos, pero el ritmo es nues- 
tro modelo de negocio. No podemos cambiarlo"”? Los trabaja- 
dores amenazaron con dejar la mesa, pero aun así Amazon n 
cedió. Para las dos partes el tema central era “el ritmo”, pero 
también era el más difícil de modificar. A diferencia de otras 
controversias locales laborales en las que los supervisores de 
planta son capaces de hacer concesiones, el ritmo aquí estaba 
fijado con base en lo que los ejecutivos y los trabajadores tec- 
nológicos habían decidido en Seattle, a mucha distancia del 
centro, y era lo que la infraestructura computacional de distri- 
bución de Amazon estaba programada para optimizar. Si los 
centros logísticos locales no estuvieran sincronizados, los tiem- 
pos de entrega de Amazon se verían amenazados. Los trabaja- 
dores y organizadores han comenzado a darse cuenta de que 
este es el verdadero problema. En consecuencia, están cam- 
biando su enfoque para construir un movimiento que abarque 
distintas fábricas y sectores de la fuerza laboral de Amazon y 


línea: <https://www vice.com/en_us/article/pa7qny/60-amazon-workers- 
walked-out-over-warehouse-working-conditions>. 

72 Abdi Muse, cit. en Al Now Institute, “Organizing Tech" video, 2019, dis- 
ponible en línea: <https:// www.youtube.com/watch?v=jLeOyls 1jwe& feature= 
emb_title>. 


que representan este “ritmo” implacable. 
Como hemos visto, estas luchas en torno a la 
tiempo tienen una historia. El monitoreo algorít 
son tan solo las últimas tecnologías en un largo 
tórico de fábricas, relojes y arquitectura de vigilancia, Ahora 
muchos más sectores, desde los conductores de Uber y lostra- 
bajadores de los centros de distribución de Amazon hasta los 
muy bien remunerados ingenieros de Google, se sienten partt 
cipes de esta pelea conjunta. Esto lo expresó con firmeza el 
director ejecutivo de la Alianza de Taxistas de Nueva York, Bhai- 
ravi Desai, en los siguientes términos: “Los trabajadores siempre 
saben. Están allá afuera, solidarizándose entre sí, en los sem4- 
foros o en los restaurantes o en las colas de hotel, porque saben 
que para prosperar tienen que trabajar juntos”73 La explotación 
de los trabajadores por medio de la tecnología es un problema 
o generalizado en muchas industrias. Los trabajadores están pē- 
leando contra la lógica de la producción y el orden del tiempo 
en que deben trabajar. Las estructuras de los horarios nunca 
son completamente inhumanas, pero se mantienen justo al límite 
de lo que la mayoría de las personas puede soportar. 

Cuando se trata de organización laboral, la solidaridad a tra- 
vés de diversos sectores no es nada nuevo. Muchos movimien- 
tos, como aquellos liderados por los sindicatos tradicionales, han 
conectado a trabajadores de distintas industrias para conseguir 
victorias, como el pago de horas extra, la seguridad laboral, la 

licencia Por maternidad y los fines de semana. Pero el apoyo 
entre distintos sectores se ha vuelto más difícil a medida que 
los poderosos grupos de presión empresariales y los gobiernos 
neoliberales han socavado, durante las últimas décadas, los dere- 


desarrollo hig. 


73 Bhairavi Desai, cit. en “Organizing Tech”, op. cif. 
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74 Sam Estreicher y Christopher Owens, “Labor Board Wrongly Se 
l SS Access to Company Email for Organizational cre Se 
mop SE de 2020, disponible en línea: <https://ver sits ae 
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III. Los datos 


partícula, y muchos de ellos no se identifican en absoluto 
el sector tecnológico o el trabajo tecnológico. Las historias S 
la mano de obra y la automatización nos recuerdan que loq; 
está en juego es producir condiciones más justas para cada tra- 
bajador y que este objetivo más amplio no debería depender de 
expandir la definición de trabajo tecnológico para resultar legi 
timo. Todos tenemos un interés colectivo en cómo se verá el futuro 
del trabajo. 


ao 


PA lac ince areata 


UNA MUJER joven mira hacia arriba, con la mirada enfocada en 
algo que está fuera del encuadre, como si se negara a aceptar la 
presencia de la cámara. En la siguiente fotografía, sus ojos están 
fijos en la media distancia. Otra imagen la muestra con el pelo de- 
sordenado y una expresión abatida. A lo largo de la secuencia 
de fotos, la vemos envejecer, y las líneas alrededor de su boca gi- 
ran hacia abajo y se profundizan. En el último fotograma, aparece 
herida y desanimada. Estas son las fotos del prontuario policial 
de una mujer a lo largo de muchos arrestos y muchos años de 
su vida. Las imágenes son parte de una colección conocida como 
“Special Database - Multiple Encounter Dataset (MEDS) [Base de 
datos especial 32 - conjunto de datos de múltiples encuentros 
clínicos]” del National Institute of Standards and Technology 
(nist), disponible en Internet para los investigadores que quieren 
probar su software de reconocimiento facial.! 

Este conjunto de datos es uno de muchos que guarda el NIST, 
uno de los laboratorios de ciencias físicas más viejos y respeta- 
dos de Estados Unidos, ahora parte del Departamento de Comer- 


1 National Institute of Standards and Technology, “Special Database 32 - 
Multiple Encounter Dataset Duef, disponible en línea: <https://www.nist.gov/ 
itV/iad/image-group/special-database-32-multiple-encounter-dataset-meds>. 
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mantiene es para los datos biométricos. 


Descubrí Por primera vez las bases de datos de Prontuarios 
Policiales en 201 7, cuando estaba investigando los archivos del 
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LOS DATOS 


Fotografías de la “Special Database 32 - mens” del NIST, 
Departamento de Comercio de Estados Unidos, 


que entraban a Estados Unidos.‘ Este fue un punto de inflexión 
para la investigación sobre el reconocimiento facial: del campo 
policial pasó a convertirse en una herramienta para controlar el 
movimiento entre las fronteras nacionale 

Las fotos de los prontuarios policiales son en sí mismas devas- 
tadoras. Algunas personas tienen heridas visibles, moretones, 
ojos morados; algunos están angustiados y llorando. Otros enfren- 
tan la cámara con una mirada ausente. La “Special Database 32” 
contiene miles de fotografías de personas fallecidas con múltiples 
arrestos, en sus reiterados encuentros con el sistema de justicia 


4 Ibid. 
5 Ibid, p. 12. 
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penal. Las personas del prontuario policial se presentan come 
datos; sin historias, contextos o nombres. Puesto que estas fotos 
se tomaron en el momento del arresto, no queda claro si a estas 
personas se les formularon cargos, si fueron absueltas 6 si ter- 
minaron encarceladas. Todas se presentan de igual modo. 
La inclusión de estas imágenes en la base de datos del we 
ha modificado su significado original, pues han pasado de uti- 
lizarse para identificar individuos en sistemas policiales a con- 
vertirse en el punto de referencia técnico a la hora de pro| 
sistemas comerciales y académicos de 1a para detectar ro 
En su recuento de la fotografía policial, Allan Sekula afirma que 
los prontuarios policiales son parte de una tradición de realismo 
técnico que tiene como objetivo “proporcionar un indicador 
fisonómico estándar del criminal”$ Hay dos acercamientos dis- 
tintos en la historia de la fotografía policial, señala Sekula. Los 
criminalistas como Alphonse Bertillon, el inventor del prontua- 
rio policial, lo veían como una especie de máquina biográfica 
de identificación necesaria para reconocer a los reincidentes. 
Por otro lado, Francis Galton, estadístico y una de las figuras - 
fundadoras de la eugenesia, usaba retratos compuestos de pri- 
sioneros para detectar un “tipo criminal” determinado biológi- 
camente.” Galton trabajaba dentro de un paradigma fisionomista 
cuya meta era encontrar un aspecto que pudiera usarse para 
identificar rasgos de personalidad profundos a partir de aparien- 
cias externas. Cuando las fotos de los prontuarios policiales se 
usan como datos de entrenamiento, estas ya no funcionan co: : 
herramientas de identificación, sino más bien para ajustar E : 


$ Allan Sekula, “The Body and the Archive”, en October, vol. 39, 1986, 
p. 17, disponible en línea: <https://doi.org/10.2307/778312> [trad. esp.: “El 
cuerpo y el archivo”, en Gloria Picazo y Jorge Ribalta (eds.), Indiferencia y 
singularidad, Barcelona, Gustavo Gili, 2003]. 

7 Ibid, pp. 18 y 19. 
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perfeccionar herramientas, técnicas y procedimientos “5 


en el reconocimiento facial, ya que son compatibles con 
Identificación de Próxima Generación (NGI, por su sigla en 
inglés), la comparación forense, el entrenamiento, el análisis, 
además de la conformidad de imágenes faciales y los estánda- 
res de intercambio entre distintas agencias.!! 


La descripción del MEDS señala que muchas personas muestran 
indicios de haber sufrido violencia sostenida, como cicatrices, 
moretones y vendajes. Pero el documento concluye que estas 
señales son "difíciles de interpretar debido a la falta de una ver- 
dad fundamental para comparar con una muestra limpia”.!? No 
se las ve como individuos, sino como parte de un recurso técnico 
compartido; son tan solo otro componente de datos del progr 

de pruebas de verificación de reconocimiento facial, la refer 
cia por excelencia en este campo. 

Durante años de investigaciones sobre cómo se construyen 
los sistemas de 1a, he analizado cientos de conjuntos de datos, 
pero los prontuarios policiales del nist son particularmente 
inquietantes, porque representan el modelo de lo que vendrá. 
No se trata solo del patetismo abrumador de las imágenes mis- 
mas. Ni tampoco de la invasión a la privacidad que representan, 
pues los sospechosos y los prisioneros no tienen derecho de 
impedir que los fotografíen. Las bases de datos del nist presagi 
la irrupción de una lógica que ahora ha invadido el sector tec 


11 Andrew P. Founds ef al, “nist Special Database 32: Multiple Encounter 
Dataset 11 (MEDS-11)”, en National Institute of Standards and Technology, 
NISTIR 7807, febrero de 2011, disponible en línea: <https://tsapps.nist.gov/ 
publication/get_pdf.cfm?pub_id=908383>. 

12 Steven Curry et al, “nist Special Database 32: Multiple Encounter 
Dataset 1 (MEDS-1)”, National Institute of Standards and Technology, NISTIR 
7679, diciembre de 2009, p. 8, disponible en línea: <https://nvipubs.nist. 
govínistpubs/Legacy/IR/nistir7679.pd£>. 
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nológico: la creencia inquebrantable de que cualquier cosa 
puede ser un dato y de que los datos están ahí para que los tome 
quien quiera. No importa dónde fue tomada la fotografía, o si ei 
refleja un momento de vulnerabilidad o de dolor, o si representa 
una forma de humillación para el sujeto. Tomar y usar lo que 
esté disponible se ha normalizado tanto en toda la industria que 
pocos se detienen a cuestionar las políticas subyacentes a esas 
acciones. f 

En ese sentido, los prontuarios policial n el prototexto 
del acercamiento actual a la creación de We contexto —y el 
ejercicio de poder— que estas imágenes representan se considera 
irrelevante porque ya no existen como cosas distintas en sí mis- 
mas. No se considera que tengan significado o peso ético como 
imágenes de personas individuales o como representaciones del 
poder estructural en el sistema carcelario. La idea de fondo es 
que se han neutralizado los significados personales, sociales y 
políticos. Yo sostengo que esto representa un giro de la imag[() 
a la infraestructura, en el que se presume que el significado o 
cuidado que se le da a la imagen de un individuo, o al contexto 
detrás de la escena, se borra en el momento en que se Wës 
parte de una masa agregada que impulsará un sistema más amp 
Todo se ve como datos que se ejecutarán por medio de funciones, 
material que será ingerido para mejorar el rendimiento técni 
Esta es la premisa central de la ideología de extracción de dat 

Los sistemas de aprendizaje automático se entrenan con imá- 
genes como estas todos los días; imágenes obtenidas de ES o 
o de instituciones estatales, sin contexto y sin consentimie 
Son cualquier cosa menos neutrales. Representan historias (e 
sonales, desigualdades estructurales y todas las injusticias 
han acompañado los legados de los sistemas policiales y carce- 
larios de Estados Unidos. Pero la presunción de que, de alguna 
manera, estas imágenes pueden servir como materiales apolíti- 
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cos inertes influye en el cómo y el qué “ve” una herramienta de 
aprendizaje automático. Un sistema de visión artificial puede dė- 
tectar un rostro o un edificio, pero ignora por qué una persona 
estaba dentro de la estación de policía o cualquiera de los con- 
textos sociales e históricos que rodean ese momento. Por último, 
las instancias específicas de los datos (la imagen de una cara, 
por ejemplo) no se consideran importantes para entrenar un 
modelo de 1a. Todo lo que importa es que sea un conjunto lo su- 
ficientemente variado. Cualquier imagen individual podría sus- 
tituirse fácilmente por otra y el sistema funcionaría de igual 
forma. De acuerdo con esta visión global, siempre hay más datos 
por capturar del cofre de los tesoros que son Internet y las pla- 
taformas de redes sociales, con su crecimiento constante y su 
distribución global. 

Por lo tanto, una persona de pie frente a una cámara con 
uniforme de prisionero se deshumaniza en forma de más datos. 
La historia de estas imágenes, cómo fueron adquiridas, y 
contextos institucionales, personales y políticos no se consideran 
relevantes. Las colecciones de fotos de prontuarios policiales 
son utilizadas como cualquier otro recurso práctico gratuito de 
caras bien iluminadas, uno de los puntos de referencia para que 
las herramientas como el reconocimiento facial funcio 
como un trinquete que se va apretando, los rostros de las per- 
sonas fallecidas, de sospechosos y prisioneros se recolectan para 
refinar los sistemas de reconocimiento facial de la policía y de 
la vigilancia fronteriza, que luego se utilizan para monitorear y 
detener a más personas. 

La última década ha visto un registro dramático de material 
digital para la producción de 1A. Estos datos son la base para 
la construcción de sentido en la 1a, no como representaciones 
clásicas del mundo con significados individuales, sino como una 
recolección masiva de datos para las abstracciones y las opera- 
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ciones de las máquinas. Este registro a gran escala se ha vuelto 
tan fundamental para el campo de la 1A que ni siquiera se lo 
cuestiona. Pero ¿cómo llegamos hasta aquí? ¿Qué formas de 
concebir los datos han facilitado este vaciamiento del contexto, 
el significado y la especificidad? ¿Cómo se adquieren, entienden 
y utilizan los datos de entrenamiento en el aprefidizaje automá- 
tico? ¿De qué manera los datos de entrenamiento delimitan aque- 
llo que interpreta la 1a del mundo y cómolo hace? ¿Qué formas 
del poder acentúan y permiten estos enfoques? 

En este capítulo demuestro que los datos se han vuelto la 
fuerza detrás del éxito de la 1a y de sus mitos, y que todo lo que 
puede registrarse fácilmente está siendo adquirido. Pero rara vez 
se abordan las implicaciones más profundas de este acerca- 
miento estándar, incluso cuando este impulsa asimetrías de poder 
más grandes. La industria de la 14 ha fomentado una especie de 
pragmatismo despiadado, con una gestión de datos que se inte- 
resa poco por el contexto, la precaución o el consentimiento, a 
la vez que promueve la idea de que la recolección de datos ale 
es necesaria y se justifica para crear sistemas de “inteligenc 
computacional que sean rentables. Esto ha llevado a una pro- 
funda metamorfosis en la que todo tipo de imágenes, textos, $0- 
nidos y videos se han vuelto solo datos sin procesar para E 
sistemas de 1a, y en la que se cree que los fines justifican los me- 
dios. Pero debemos preguntarnos: ¿quién se ha beneficiado más 
con esta transformación y por qué han persistido estas narrativas 
dominantes sobre los datos? Como vimos en los capítulos pre- 
vios, la lógica de extracción, que ha dado forma a la relación con 
la tierra y con la mano de obra humana, también es una carac- 
terística distintiva de cómo se usan y entienden los dato: 

14. Al examinar de cerca los datos de entrenamiento, como ejem- 
plo central en el conjunto del aprendizaje automático, podemos 
empezar a ver lo que está en juego en esta transformación. 
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ENTRENAR LAS MÁQUINAS PARA QUE VEAN 


Resulta útil considerar por qué los sistemas de aprendizaje auto- 


mático exigen actualmente cantidades masivas de datos. Un ejem. e 


plo del problema en plena acción es la visión artificial, el subcampo 
de la 1a que se ocupa de enseñar a las máquinas a detectar e 
interpretar imágenes. Por razones que rara vez se reconocen en 
el campo de la informática, el proyecto de interpretar imágenes 
es un empeño profundamente complejo y relacional. Las imáge- 
nes son cosas extraordinariamente escurridizas, cargadas de 
múltiples significados potenciales, preguntas sin respuestas y 
contradicciones. Y, sin embargo, ahora es una práctica común 
que, como parte de los primeros pasos para crear un sistema de 
visión artificial, se haga un verdadero raspado de miles, e incluso 
millones, de imágenes de Internet y se creen y se ordenen en una 
serie de clasificaciones para luego usarlas como la base a través 
de la cual el sistema percibirá la realidad observable. Estas vas 
colecciones se denominan conjuntos de datos de entrenamiento 
y constituyen lo que los programadores de la a menudo llaman: 
“verdad fundamental o verdad base”.13 La verdad, entonces, tiene 
menos que ver con una representación fáctica o con una realidad 
concertada y, por lo general, más con un revoltijo de imágenes 
extraídas de muchas fuentes distintas disponibles en línea. 

Para el aprendizaje supervisado, los ingenieros eege > 
datos de entrenamiento etiquetados a una computadora. 
diferentes tipos de algoritmos entran entonces en juego: los de 
aprendizaje y los de clasificación. El aprendiz es el algoritmo que 
está entrenado en estos datos etiquetados; luego informa al cla- 


13 Florian Jaton, “We Get the Algorithms of Our Ground Truths: Designing 
Referential Databases in Digital Image Processing’, en Social Studies of 
Science, vol. 47, núm. 6, 2017, pp. 811-840, disponible en linea: <https://doi. 
org/10.1 177/0306312717730428>. 
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cador cómo analizar mejor la relación entre las nuevas varia- 
es de entrada y la variable deseada de salida (o predicción). 
puede predecir si una cara está contenida en una imagen o siun 
correo electrónico es spam. Entre más ejemplos de datos GEN 
- tamente etiquetados tenga, mejor será el algoritmo a la hora 


producir predicciones precisas. Hay muchos tipos ge modelos 


de aprendizaje automático, incluidas redes neuronales, regresión 


logística y árboles de decisión. Los ingenieros eligen un modelo 


basado en lo que están construyendo, ya sea un sistema de reco- 


nocimiento facial o una manera de detectar emociones en redes 
sociales, y lo adaptarán a sus recursos computacionales. 
Consideremos la tarea de construir un sistema de aprendizaje 
automático que puede detectar las diferencias entre imágenes 
de manzanas y naranjas. Primero, un programador tiene que re- 


colectar, etiquetar y entrenar 


una red neuronal con miles de imá- 


genes etiquetadas de manzanas y naranjas. Por el lado del software, 
los algoritmos llevan a cabo un estudio estadístico de las imáge- 
nes y desarrollan un modelo para reconocer la diferencia entre 


las dos clases. Si todo sale según lo planeado, el modelo entrenado 
será capaz de distinguir la diferencia entre imágenes de manzanas 
y naranjas con las que nunca antes se ha encontrado. 

Pero si en nuestro ejemplo todas las imágenes de entrena- 
miento de manzanas son rojas y ninguna es verde, entonces es 


posible que el sistema de aprendizaje automático deduzca que 


“todas las manzanas son rojas". A esto se le conoce como infe- 
rencia inductiva, una hipótesis abierta basada en los datos dis- 
ponibles, a diferencia de una inferencia deductiva, que se sigue 
lógicamente a partir de una premisa. Debido ala manera en que 


fue entrenado este sistema, 


una manzana verde no sería reco- 


14 Nils J. Nilsson, The Quest for Artificial Intelligence. A History of Ideas 


and Achievements, Nueva York, C 


ambridge University Press, 2009, p. 398. 
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nocida como tal. Los conjuntos de datos de entrenamiento, por 
tanto, son el núcleo a partir del cual la mayoría de los sistemas 
de aprendizaje automático hace inferencias. Funcionan eg 
la fuente primaria del material que los sistemas de 1a usan para 
formar la base de sus predicciones. 

Los datos de entrenamiento definen mucho más que solo las 
características de los algoritmos de aprendizaje automático. Se 
usan para evaluar su desempeño a lo largo del tiem: igual 
que los preciados purasangre, Jos algoritmos de aprendizaje auto- 
mático continuamente compiten entre sí en duelos en todo el 
mundo para ver cuáles funcionan mejor con un determinado 
conjunto de datos. Estos conjuntos de datos de referencia se 
vuelven el alfabeto en el que se basa una lingua franca, con 
muchos laboratorios de distintos países reunidos alrededor de 
conjuntos canónicos para intentar superarse entre sí Una de las 
competencias mas conocidas es el Desafío ImageNet, en el que 
los investigadores compiten para ver qué métodos pueden cla- 
sificar y detectar objetos y escenas con mayor precisión.!* 

Una vez que los conjuntos de entrenamiento se han estable- 
cido como los puntos de referencia convenientes, por lo general 
son adaptados, desarrollados y expandidos. Como-veremos en el 
siguiente capítulo, se forma una especie de genealogía de con- 
juntos de entrenamiento: heredan una lógica aprendida de ejem- 
plos anteriores Y dan paso alos siguientes. Por ejemplo, ImageNet 
ocupa la taxonomía de palabras heredada de la influyente base 
de datos léxica de 1980 conocida como WordNet; y esta, a SU vez, 
hereda de muchas fuentes, incluido el Brown Corpus de un millón 
de palabras publicado en 1961. Los datos de entrenamiento se 
suben a las espaldas de viejas clasificaciones y colecciones. Como 


15 "JmageNet Large Scale Visual Recognition Competition Desch, dis- 
ponible en línea: <ht1p:/limage-netorg/challenges/LSVRC/>. 
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una enciclopedia en constante expansión, las formas viejas per- 
manecen y nuevos ítems se agregan a lo largo de las décadas. 
Los datos de entrenamiento son, por lo tanto, los cimientos 
sobre los cuales se construyen los sistemas actuales de app 
dizaje automático: Estos conjuntos de datos le dan forma "E 
límites epistémicos que gobiernan la manera en que opera la 14; 
en ese sentido, crean los límites de cómo la 1a puede “ver” 
mundo. Pero los datos de entrenamiento son una frágil forma 
de verdad fundamental, e incluso los mayores tesoros de datos 
no pueden escapar a ciertas incongruencias esenciales que ocu- 


rren cuando se simplifica y divide en categorías un mundo O] 
nitamente complejo. 


BREVE HISTORIA DE LA DEMANDA DE DATOS 


“El mundo ha entrado en una era de dispositivos complejos, pero 
muy confiables y baratos a la vez. Y, necesariamente, alguna 
consecuencia tendrá todo esto” Estas fueron las palabras de Van- 
nevar Bush, el inventor y administrador que supervisó el Proyecto 
Manhattan como director de la Oficina de Investigación y Desa- 
rrollo Científico, que más tarde fue clave para la creación de la 
Fundación Nacional de las Ciencias. Esto ocurrió en julio de 
1945; las bombas todavía no habían caído sobre Hiroshima y 


16 Él 
W Es pester Se i ao ts 1970, Ryszard Michalski escribié un algoritmo 
es simbólicas y reglas lógicas. Este idi fu 
las décadas de 1980 i e GE 
a y 1990, pero a medida que las reglas d i 
siones y calificación se volvieron más complejas, el i e a 
sio ` : idioma se volvió 
útil. Al mismo tiempo, el i eas KE 
i , el potencial de usar grandes conjuntos d 
miento provocó un cambio en este agru] i acia los enio. 
0 pamiento conceptual hacia los enfo- 
Fees contemporáneos de aprendizaje automático. Ryszard S. Michalski 
bes Ce Recognition as Rule-Guided Inductive Inference’, en IEEE Transactions 
attern Analysis Machine Intelligence, vol. 2, núm. 4, 1980, pp. 349-361 
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Empezaron utilizando métodos estadísticos que se centraban 
en la frecuencia con que las palabras aparecían en relación entre 
sí, en lugar de intentar enseñarle a las computadoras un méto 
centrado en reglas usando principios gramáticos o característi- 
cas lingüísticas. Hacer que funcionara este método estadístico 
requería una gran cantidad de datos reales de habla y texto, o 
datos de entrenamiento. El resultado, como escribe el experto en 
medios Xiaochang Li, fue que se requería “una reducción radical 
del habla a meros datos, que podían ser modelados e interpre- 
tados sin la presencia de un conocimiento o entendimiento lin- 
gúístico. El habla como tal dejó de importar”. Este giro fue in 
blemente significativo y se volvería un patrón repetido dur 
décadas: la reducción de contenido a datos, de significados a 
reconocimiento de patrones estadísticos. Li explica: 


Depender de datos en vez de principios lingúísticos, sin embargo, 
trajo consigo un nuevo conjunto de desafíos, ya que esto sig- 
nificaba que los modelos estadísticos estaban necesariamente 
determinados por las características de los datos de entrena- 
miento. Como resultado, el tamaño de los conjuntos de datos 
se volvió una preocupación principal. [...] Los conjuntos de 
datos de resultados observados más grandes no solo mejoraron 
los estimados probabilísticos para los procesos aleatorios, sino 
que también aumentaron la posibilidad de que los datos cap- 
turaran resultados que ocurren con menor frecuencia. El tamaño 
de los datos de entrenamiento era, de hecho, tan fundamental 
para el método de 18M que, en 1985, Robert Mercer explicó la 
actitud de su grupo al proclamar: “Ningún dato se equipara a 
tener más datos".20 


20 Xiaochang Li, “Divination Engines: A Media History of Text Prediction’, 
tesis doctoral, New York University, 2017, p. 143. 
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Durante muchas décadas, esos datos eran muy difíciles de obte- 
ner. Como describe Lalit Bahl en una entrevista con Li: “En ese 
entonces [...] ni siquiera podías encontrar con facilidad un millón 
de palabras de texto legible por computadora. Y buscábamos 
texto por todas partes”! Buscaron en los manuales técnicos de 
IBM, en novelas para niños, en patentes de tecnología láser, libros 
para ciegos e incluso en la correspondencia mecanografiada del 
miembro de 18M Dick Garwin, creador del diseño de la primera 
bomba de hidrégeno.” Su método curiosamente parecía repli- 
car un cuento del escritor de ciencia ficción Stanislaw Lem, en 
el que un hombre llamado Trurl decide construir una máquina 
que escriba poesía. Empieza con “ochocientas veinte toneladas 
de libros sobre cibernética y doce mil toneladas de la poesía más 
exquisita”23 Pero Trurl se da cuenta de que, para programar una 
máquina autónoma de poesía, uno necesita “repetir el universo 
entero desde el principio; o al menos una buena fracción de él”24 
Eventualmente, el grupo 18m Continuous Speech Reco 

tion encontró su “buena fracción” del universo en una sorpresiva 
fuente. En 1969, se presentó una importante demanda federal 
antimonopolio en contra de 18m. El proceso duró trece años, y 
fueron llamados a declarar casi mil testigos. IBM contrató una 
gran cantidad de personal solo para digitalizar todas las tr 
cripciones de las declaraciones en tarjetas perforadas de wok 
rith. Esto terminó creando un corpus de cien millones de palabras 


21 Ibid, p. 144. 

22 Peter Brown y Robert Mercer, “Oh, Yes, Everything's Right on Schedule, 
Fred”, ponencia en Twenty Years of Bitext Workshop, en Empirical Methods 
in Natural Language Processing Conference, Seattle, octubre de 2013, dis- 
ponible en línea: <http://cs jhu.edu/~ post/bitext>. 

23 Stainslaw Lem, “The First Sally (A), or Trurl's Electronic Bard", en James 
Gunn (ed.), The Road to Science Fiction, vol. 4: From Here to Forever Lanham, 
Scarecrow, 2003, p. 199. 

24 Ibid. 
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para mediados de la década de 1980. Mercer, conocido por ser 
antigubernamental, llamó a esto “un caso de utilidad creada 
cidentalmente por el gobierno, a pesar de sí mismo”2 

IBM no era el único grupo que empezaba a acumular tone- 
ladas de palabras. Entre 1989 y 1992, un equipo de lingüistas y 
científicos informáticos de la University of Pennsylvania traba- 
jaron en el proyecto Penn Treebank, una base de datos de texto 
anotada. Juntaron cuatro millones y medio de palabras del inglés 
estadounidense con el fin de entrenar sistemas de procesamiento 
de lenguaje natural. Sus fuentes incluían síntesis del Dep: 
mento de Energía, cables de artículos del Dow Jones y repo 
del Federal News Service sobre “actividades terroristas” en Amé- 
rica del Sur.26 Las colecciones de texto emergentes pedían pres- 
tado de colecciones anteriores y luego contribuían a nuevas 
fuentes. Comenzaron a surgir las genealogías de colecciones de 
datos, cada una apoyándose en la anterior y a menudo trayendo 
consigo las mismas peculiaridades, problemas u omisiones al 
por mayor. 

Otro corpus clásico de texto provino de las investigaciones 
por fraude de la empresa Enron después de que ag e 
bancarrota más grande en la historia de Estados Unidos. 
requerimiento legal, la Federal Energy Regulatory Commission 
confiscó los correos electrónicos de 158 empleados.?” También 
decidió hacer estos correos públicos, ya que “el derecho a la di- 
vulgación en este caso está por encima del derecho individual 


25 Peter Brown y Robert Mercer, op. cit. 

26 Mitchell P. Marcus, Mary Ann Marcinkiewicz y Beatrice Santorini, “Buil- 
ding a Large Annotated Corpus of English: The Penn Treebank”, en Compu- 
tational Linguistics, vol. 19, núm. 2, 1993, pp. 313-330, disponible en línea: 
<https://dLacm.org/doi/abs/10.5555/972470.972475>. 

27 Bryan Klimt y Yiming Yang, “The Enron Corpus: A New Dataset for 
Email Classification Research”, en Jean-Francois Boulicat et al. (eds.), Machine 
Learning: ECML 2004, Berlin, Springer, 2004, pp. 217-226. 
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a la privacidad".?8 Esto se convirtió en una colección increíble. 
Más de medio millón de intercambios usando el habla cotidiana 
ahora se usarían como una mina lingúística: una que, sin em- 
bargo, representaría el género, la raza y los sesgos profesionales 
de estos 158 trabajador iles de artículos académicos han 
citado el corpus Enron. A pesar de su popularidad, rara vez se 
lo mira de cerca: The New Yorkerlo describió como “un texto de 
investigación canónico que nadie ha leído realmente”? Esta cons- 
trucción y confianza automática en los datos de entrenamiento 
anticipaba una nueva manera de hacer las cosas. Transformó el 
campo del procesamiento del lenguaje natural y sentó los cimien- 
tos de lo que se volvería una práctica normal en el aprendizaje 
automático. 

Aquí ya estaban plantadas las semillas de los problemas 
posteriores. Los archivos de texto se veían como colecciones 
neutrales de lenguaje, como si hubiera una equivalencia gene- 
ral entre las palabras en un manual técnico y la forma en 
los colegas se escriben correos electrónicos entre sí. Todo Mie) 
era reutilizable e intercambiable, mientras hubiera suficiente 
para entrenar un modelo de lenguaje que predijera, con una alta 
tasa de éxito, qué palabra podría seguir a otra. Al igual que con 
las imágenes, los corpus de texto trabajan bajo la presunción de 
que todos los datos de entrenamiento son intercambiables. Pero 
el lenguaje no es una sustancia inerte que funcione de la misma 
forma, independiente de dónde se encuentre. Las frases que se 
hayan sacado de Reddit serán distintas de las que usan los eje- 


28 Pat Wood 11, William L. Massey y Nora Mead Brownell, “FERC Order 
Directing Release of Information”, Federal Energy Regulatory Commission, 
21 de marzo de 2003, p. 12. 

2? Nathan Heller, “What the Enron Emails Say about Us”, en The New 
Yorker, 17 de julio de 2017, disponible en línea: <https://www.newyorker. 
com/magazine/2017/07/24/what-the-enron-e-mails-say-about-us>. 
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cutivos de Enron. Las distorsiones, las lagunas y los sesgos en 
el texto recopilado se integran al sistema más grande y, si un 
modelo de lenguaje está basado en el tipo de palabras que se 
agrupan juntas, de dónde provienen se vuelve un asunto We 
vante. No existe un territorio neutral para el lenguaje, y t 
las recopilaciones de texto también son el recuento de un tiempo, 
un lugar, una cultura y una política. Incluso más: estos métodos 
no atienden los lenguajes que tienen menos datos disponibles 
y a menudo se los deja atrás.*0 

Claramente, hay muchas historias y contextos que se com- 
binan dentro de los datos de entrenamiento de IBM, el archivo 
Enron o el Penn Treebank. ¿Cómo desentrañamos lo que es signi- 
ficativo y lo que no para entender estos conjuntos de datos? ¿Có- 
mo comunica uno advertencias como: “Este conjunto de datos 
probablemente refleje sesgos relacionados con su dependencia 
en noticias sobre terroristas latinoamericanos en los años ochen- 
ta”? Los orígenes de los datos que subyacen en un sistema pue- 
den ser muy significativos y, sin embargo, todavía no hay, treinta 
años después, prácticas normadas p ñalar de dónde pro- 
vienen los datos ni cómo se adquirier ucho menos los ses- 
gos o las políticas de clasificación que estos conjuntos de datos 
contienen y que influirán en todos: los sistemas que dependan 
de ellos.31 


30Janet M. Baker et al, “Research Developments and Directions in Speech 
Recognition and Understanding, Part 1", en (eps Signal Processing Magazine, 
abril de 2009, disponible en línea: <https://dspace.mit.edu/handle/1721. 
1/51891>. 

31 He participado en algunos trabajos preliminares que han buscado 
abordar esta brecha. Véase, por ejemplo, Timnit Gebru ef al, “Datasheets 
for Datasets", en arXiv, 23 de marzo de 2018, disponible en línea: <http:// 
arxiv.org/abs/1803.09010>. Otros investigadores han buscado abordar el 
problema en los modelos de 1a; véanse Margaret Mitchell et al, “Model Cards 
for Model Reporting”, en FAT* 19: Proceedings of the Conference on Fairness, 
Accountability, and Transparency, Atlanta, ACM Press, 2019, pp. 220-229, 
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CAPTURAR EL ROSTRO 


Si los textos legibles por computadora se volvian muy valiosos 
para el reconocimiento de voz, el rostro humano era la preo- 
cupación principal a la hora de construir sistemas de recono 
miento facial. Uno de los ejemplos principales sergió en la última 
década del siglo xx, financiado por la Department of Defense 
CounterDrug Technology Development Program Office. Esta 
oficina patrocinó el proyecto de Face Recognition Technology 
(FERET) para desarrollar el reconocimiento facial automátic 
que fuera aplicado por agencias de inteligencia y EE e 
policiales. Antes de FERET había pocos datos de entrenamiento 
disponibles de rostros humanos, tan solo unas cuantas colec- 
ciones de alrededor de cincuenta rostros por aquí y por allá; en 
ningún caso suficientes para hacer reconocimiento facial a 
escala. El us Army Research Laboratory lideró el proyecto técnico 
para crear un conjunto de retratos de entrenamiento de más de 
mil personas, en distintas poses, para llegar a un total de 14.126 
imágenes. Como las colecciones de prontuarios policiales del 
NIST, FERET se volvió el punto de referencia estándar, una herra- 
mienta de medición compartida para comparar métodos de detec- 
ción de rostros. 

Las tareas para las que se construyó la infraestructura de FERET 
incluían, de nuevo, la búsqueda automática de fotos de pront 
rios policiales, así como la vigilancia en aeropuertos y pasos fr 
terizos, y la búsqueda en las bases de datos de las licencias de 
conducir para “detectar fraudes” (los cobros múltiples de bene- 


disponible en línea: <https://doi.org/10.1145/3287560.3287596>, e Inioluwa 
Deborah Raji y Joy Buolamwini, “Actionable Auditing: Investigating the 
Impact of Publicly Naming Biased Performance Results of Commercial Al 
Products”, en Proceedings of the 2019 asavacm Conference on al Ethics, and 
Society, 2019, pp. 429-435. 
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ficios sociales era uno de los ejemplos que se mencionaban en 
los artículos de investigación sobre FERET).*? Pero habia dos esce- 
narios principales de prueba. En el primero, se le presentaba al 
algoritmo un prontuario electrónico de individuos conocidos y 
aquel tenía luego que encontrar las coincidencias más cercanas 
en una gran galería de imágenes. El segundo escenario se enfo- 
caba en el control de las fronteras y los aeropuertos: identificar 
a un individuo conocido (“contrabandistas, terroristas u otros 
criminales”) a partir de una gran cantidad de desconocidos. 
Estas fotografías son por diseño legibles por computadora 
y no están hechas para ser vistas por ojos humanos; sin embargo, 
contemplarlas resulta extraordinario. Son fotografías de alta 
resolución sorprendentemente hermosas, capturadas en el estilo 
de los retratos formales. Tomadas por cámaras de 35 mm en la 
George Mason University, estas fotos de rostros tomadas con 
precisión nos muestran un amplio rango de personas, algunas 
de las cuales parecen haberse vestido con esmero para la ocasión, 
con peinados cuidados, joyas y maquillaje. El primer conjunto de 
fotografías, tomadas entre 1993 y 1994, es como una cápsula 
del tiempo a los cortes de pelo y la moda de principios de los 
años noventa. Se les pedía a los sujetos que colocaran sus cab 
zas en posiciones múltiples; al pasar por las imágenes, se Seel 
ver tomas de perfil, de frente, distinta iluminación y a veces 
diferentes atuendos. A algunos sujetos se los fotografió a lo largo 
de varios años, para empezar a estudiar cómo rastrear a las 
personas según van envejeciendo. Se les informó acerca del pro- 
yecto y firmaron un formulario de autorización que había sido 
previamente aprobado por el comité de ética de la universidad. 


32P. Jonathon Phillips, Patrick J. Rauss y Sandor Z. Der, “FERET (Face 
Recognition Technology) Recognition Algorithm Development and Test 
Results” Adelphi, Army Research Laboratory, octubre de 1996, p. 9, dispo- 
nible en línea: <https://apps.dtic.mil/dtic/tr/fulltext/u2/a315841.pdf>. 
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Los sujetos sabían en lo que estaban participando y dieron su 
consentimiento total.33 Este nivel de consentimiento se volvería 
excepcional en los años siguientes. 

FERET fue el punto culminante de un estilo formal de “creaci 
de datos”, antes de que Internet empezara a ofrecer pe © | 
masivas sin ningún permiso o trabajo cuidadog% de la cámara. 
Sin embargo, incluso en esta etapa temprana, había problemas 
con la falta de diversidad de las caras recolectadas. El artículo 
de la investigación de FERET, de 1996, admite que “se pusieron 
sobre el tapete algunas preguntas sobre la distribución por edad, 
raza y sexo de la base de datos”, pero que, “a estas alturas del pro- 
yecto, el tema central es el funcionamiento del algoritmo sobre 
una base de datos de un número grande de individuos”34 En efec- 
to, FERET era extremadamente útil para eso. A medida que el in- 
terés por la detección de terroristas aumentaba, y los fondos para 
el reconocimiento facial incrementaron drásticamente después 
del 11 de septiembre, FERET se volvió el punto de referencia n 
usado. A partir de ese momento, los sistemas de rastreo biométrico 
y de visión artificial se expandieron con rapidez tanto en escala 
como en ambición. 


DE INTERNET A IMAGENET 


En muchos sentidos, Internet cambió todo; en el campo de la 
investigación de la 1a, llegó a verse como algo similar a un rec 

natural, disponible para ser utilizado. Entre más gente empezó 
a subir su imagen a sitios web, a servicios para compartir fotos 
y, finalmente, a plataformas de redes sociales, el saqueo se volvió 


33 Ibid, p. 61. 
3 Ibid, p. 12. 
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la norma. De repente, los conjuntos de datos de entrenamiento 
podían alcanzar tamaños que los científicos de los años ochenta 
jamás habrían imaginado, Atrás quedó la necesidad de organizar 
sesiones de fotos usando distintos tipos de iluminación, pará- 
metros controlados y dispositivos para posicionar los rostros. 
Ahora había millones de selfis, tomadas en todas las condicion 
posibles de luz, posición y profundidad de campo. La gente O 
menzó a compartir las fotos de sus bebés, instantáneas de sus 
familias e imágenes de cómo se veían diez años atrás, recursos 
ideales para rastrear similitudes genéticas y envejecimiento facial. 
Todos los días se publicaban billones de líneas de texto que 
contenían formas de habla formales e informales. Todo se volvía 
agua para los molinos del aprendizaje automático. Se trataba de 
algo de proporciones masivas. Por ejemplo, en un día promedio 
de 2019, se subieron a Facebook aproximadamente trescientos 
cincuenta millones de fotografías y se enviaron quinientos millo- 
nes de tuits,25 Y esas son solo dos plataformas de Estados Unidos. 
Todo lo que estuviera en línea estaba siendo preparado para 
volverse un conjunto de datos de entrenamiento para la la. 
Los titanes de la industria de la tecnología estaban ahora en 
una posición de poder: tenían un canal de imágenes y texto que 
se estaba actualizando sin parar y, entre más compartía su con- 
tenido la gente, más crecía el poder de la industria de la tecno- 
logía. Las personas etiquetaban alegremente sus fotografías, con 


nombres y ubicaciones, sin cobrar, y esa mano de obra gratis) 


significaba tener datos etiquetados más precisos para la visión 
artificial y los modelos de lenguaje. Dentro de la industria estas 


35 Véanse Salman Aslam, “Facebook by the Numbers (2019): Stats, Demo- 
graphics & Fun Facts”, en Omnicore, 6 de enero de 2020, disponible en línea: 
<hittps://www.omnicoreagency.com/facebook-statistics/>, y “Advertising on 
Twitter”, en Twitter for Business, disponible en línea: <https://business.twit- 
ter.com/en/Twitter-ads-signup.html>. 
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colecciones son muy valiosas. Son tesoros registrados que se com- 
parten rara vez, debido tanto a asuntos de privacidad como a la 
ventaja competitiva que les significan. Pero aquellos que están 
fuera de la industria, como los principales laboratorios informá- 
ticos académicos, querían disfrutar de las mismas ventajas. Con 
un presupuesto infinitamente limitado en cofhparación, ¿era 
posible pagar para recolectar los datos de la gente? ¿Podían es- 
perar que esas mismas personas, por voluntad propia, se los 
entregaran ya etiquetados? Ahí es cuando surgieron nuevas 
ideas: combinar imágenes y textos extraídos de Internet gracias 
a la mano de obra barata del crowdsourcing. 

Uno de los conjuntos de datos de entrenamiento más impor- 
tantes de la 1a es ImageNet. Fue conceptualizado por pri ¿E 
vez en 2006, cuando la profesora Fei-Fei Li decidió construir T 
enorme conjunto de datos para el reconocimiento de objetos. 
“Decidimos que queríamos hacer algo que no tuviera preceden- 
tes en la historia —dijo Li—. Vamos a cartografiar el mundo de 
los objetos por completo’ En 2009, el equipo de ImageNet 
publicó el significativo cartel sobre la investigación en una con- 
ferencia sobre visión artificial. Abría con esta descripción: 


La era digital ha traído consigo una enorme explosión de da- 
tos. Las últimas estimaciones hablan de un número mayor a los 
tres mil millones de fotos en Flickr, un número similar de vi- 
deoclips en YouTube y un número todavía más grande de imá- 
genes en la base de datos del buscador de imágenes de Google. 
Al explotar estas imágenes, se pueden proponer modelos y 
algoritmos más sofisticados y robustos, dando como resultado 


36 Fei-Fei Li, cit. en Dave Gershgorn, “The Data That Transformed at 
Research - and Possibly the World”, en Quartz, 26 de julio de 2017, disponi- 
ble en línea: <https://qz.com/1034972/the-data-that-changed-the-direction- 
of-ai-research-and-possibly-the-world/>. 
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mejores aplicaciones para que los usuarios indexen, recuperen, 
organicen e interactúen con estos datos.” 


Desde un principio, los datos se caracterizaban como algo volu- 
minoso, desorganizado, impersonal y listo para ser explotado. De 
acuerdo con sus autores, “la manera exacta en la que se pueden 
utilizar y organizar estos datos es un problema que todavía no 
se resuelve”. Al extraer millones de imágenes de Internet, princi- 
palmente de motores que usan la opción de búsqueda de imá- 
genes, el equipo produjo una “ontología de imágenes a gran 
escala” que estaba destinada a servir de recurso para “proveer 
datos de entrenamiento y de referencia críticos” para algoritmos 
de reconocimiento de objetos e imágenes. Usando este método, 
ImageNet creció enormemente. El equipo recopiló en masa más 
de 14 millones de imágenes de Internet, para ser organizadas en 
más de veinte mil categorías. En los artículos de la investigaci 

no se mencionó ninguna preocupación ética respecto a ale) 
los datos de otras personas, a pesar de que miles de las paginas 
eran de naturaleza muy personal y comprometedora. 

Una vez que las imagenes habian sido obtenidas de Internet, 
surgió una importante preocupación: ¿quién las etiquetaria y las 
pondría en categorías inteligibles? Como señala Li, el plan origi- 
nal del equipo era contratar estudiantes de pregrado y paga] 
10 dólares la hora para encontrar imágenes manualmente y 
agregarlas al conjunto de datos.* Pero se dio cuenta de que, con 
su presupuesto, les llevaría noventa años completar el proyecto. 
La respuesta llegó cuando un estudiante le contó a Li sobre un 


37Jia Deng et al, "ImageNet: A Large-Scale Hierarchical Image Database”, 
en 2009 tke Conference on Computer Vision and Pattern Recognition, pp. 
248-255, disponible en linea: <https://doi.org/10.1109/CVPR.2009.520 
6848>. 

38 Dave Gershgorn, op. cif. 
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nuevo servicio: Amazon Mechanical Tur mo vimos en el 
capítulo 11, gracias a esta plataforma, de repente se volvió posible 
acceder a mano de obra distribuida que podía hacer tareas en 
línea, como etiquetar y clasificar imágenes, a escala y a bajo costo. 


Me mostró el sitio web y te puedo decir quesese fue el día en 
que literalmente supe que el proyecto ImageNet se llevaría a 
cabo —dice Li—. De pronto encontramos una herramienta que 
podía modificar la escala, algo con lo que no podríamos haber 
soñado siquiera si hubiéramos contratado estudiantes de pre- 
grado de Princeton.? 


Como era de esperar, esos estudiantes no obtuvieron el trabajo. 
En vez de eso, ImageNet se convirtió durante un tiempo en 
el usuario académico del Mechanical Turk más grande del mundo, 
desplegando un ejército de trabajadores a medio tiempo para cla- 
sificar un promedio de cincuenta imágenes por minuto en miles 
de categorías.* Había categorías para manzanas y aviones, buzos 
y luchadores de sumo. Pero también había etiquetas cruel 
ofensivas y racistas: las fotografías de las personas se clasificab: 
en categorías como “alcohólico”, “hombre-mono”, “loco”, “puta” y 
“ojos rasgados”. Todos estos términos se habían importado de la 
base de datos léxica de WordNet y se habían entregado a los 
trabajadores para que los emparejaran con las imágenes. Durante 
una década, ImageNet creció hasta volverse un coloso del reco- 
nocimiento de objetos para el aprendizaje automático, y un punto 
de referencia muy importante para el campo. El método de extrac- 


39 Ibid. 

“John Markoff, “Seeking a Better Way to Find Web Images” en The New 
York Times, 19 de noviembre de 2012, disponible en línea: <https://www. 
nytimes.com/2012/11/20/science/for-web-images-creating-new-technology- 
to-seek-and-find.html>. 
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ción masivo y sin consentimiento de datos etiquetados por p: 

de trabajadores mal remunerados de crowdsourcing se volv: 
una práctica estándar, y cientos de nuevos conjuntos de datos de 
entrenamiento seguirían la estela de ImageNet. Como veremos 
en el próximo capítulo, estas prácticas (y los datos etiquetados que 
generaron) volverían para atormentar al proyecto. 


EL FIN DEL CONSENTIMIENTO 


Los primeros años del siglo xxi significaron un alejamiento pro- 
gresivo de las colecciones de datos obtenidos con consentimiento. 
Además de poder prescindir de las sesiones fotográficas, los 
responsables de colectar los conjuntos de datos asumían que 
los contenidos de Internet estaban disponibles para que ellos los 
tomaran, más allá de que se necesitaran acuerdos, formularios 
de autorización y revisiones éticas. En ese momento, comenza- 
ron a surgir prácticas de extracción todavía más inquietantes. 
Por ejemp la University of Colorado, un profesor instaló 
una cámal| el pasillo principal del campus y capturó en 
secreto fotos de más de mil setecientos estudiantes y profesores; 
todo para entrenar un sistema de reconocimiento facial de su 
autoría.*! Un proyecto similar en la Duke University recopiló 
imágenes de más de dos mil estudiantes yendo y viniendo de 
sus clases, sin que ellos lo supieran, y luego publicó los resul- 
tados en Internet. El conjunto de datos, llamado Dukemtmc (re- 
conocimiento facial de múltiples cámaras y objetivos) fue finan- 


41 Elizabeth Hernandez, “cu Colorado Springs Students Secretly Photo- 
graphed for Government-Backed Facial-Recognition Research”, en The Den- 
ver Post, 27 de mayo de 2019, disponible en linea: <https://www.denverpost. 
com/2019/05/27/cu-colorado-springs-facial-recognition-research/>. 
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ciado por la us Army Research Office y por la National Science 
Foundation. 

El Dukemrc fue duramente criticado después de que un 
proyecto de investigación, realizado por los artistas e investiga- 
dores Adam Harvey y Jules LaPlace, demostrara que el gobierno 
chino estaba utilizando las imágenes para entrerfar sistemas para 
vigilar minorías étnicas. Esto estimuló una investigación del 
consejo de revisión institucional, que determinó que esto cali- 
ficaba como un “desvío significativo” de las prácticas aceptables. 
El conjunto de datos fue eliminado de Internet.13 

Pero lo que ocurrió en la University of Colorado y en la de 
Duke no se trató de ninguna manera de casos aislados. En la 
Stanford University, algunos investigadores se apoderaron de la 
cámara JI una popular cafetería para extraer casi doce mil 
imágenes “de la vida cotidiana de una concurrida cafetería cén- 
trica”, sin el consentimiento de nadie.44 Una y otra vez estos datos, 
extraídos sin permiso ni consentimiento, se subían para los inves- 
tigadores del aprendizaje automático, quienes luego los usaban 
como infraestructura para sistemas de imágenes automatizados. 

Otro ejemplo es ms-Celeb, el histórico conjunto de datos de 
entrenamiento de Microsoft que, en 2016, recogió de Internet 
alrededor de diez millones de fotos de cien mil celebridades. En 
su momento era el conjunto de datos de reconocimiento facial 
público más grande del mundo, e incluía no solo a actores famo- 


"7 Zhimeng Zhang et al, “Multi-Target, Multi-Camera Tracking by Hie- 
rarchical Clustering: Recent Progress on DukemIMC Project”, en arXiv, 27 
de diciembre de 2017, disponible en línea: <https://arxiv.org/abs/1712.09531>. 

43 Jake Satisky, “A Duke Study Recorded Thousands of Students’ Faces; 
Now They're Being Used All over the World”, en Chronicle, 12 de junio de 
2019, disponible en linea: <https://www.dukechronicle.com/article/2019/06/ 
duke-university-facial-recognition-data-set-study-surveillance-video-stu- 
dents-china-uyghur>. 

4 Russell Stewart, Brainwash Dataset, Stanford Digital Repository, 2015. 


170 ATLAS DE INTELIGENCIA ARTIFICIAL 


sos, sino también a políticos y periodistas, activistas, académicos 
y artistas.4> Irónicamente, muchas de las personas que fueron in- 
cluidas sin su consentimiento son conocidas por haber criticado 
la vigilancia y el propio reconocimiento facial, como la cineasta 
Laura Poitras, la activista de los derechos digitales Jillian York, 
el crítico Evgeny Morozov y la autora de La era del capitalismo 
de la vigilancia, Shoshana Zuboff.* 

Incluso cuando se les quita información personal a los con- 
juntos de datos y se sueltan con gran precaución, algunas per- 
sonas han vuelto a ser identificadas y se han revelado det 
muy sensibles sobre ellas. En 2013, por ejemplo, la comisión de 
taxis y limusinas de Nueva York liberó un conjunto de datos de 
173 millones de viajes individuales que contenían los horarios 
de recogida y de bajada de sus pasajeros, así como ubicaciones, 
tarifas y montos de propinas. Se hicieron anónimos los números 
de licencia de los taxistas, pero esto se anuló rápidamente, lo que 
permitió a los investigadores inferir información sensible, como 
salarios anuales y direcciones personales.” Al combinarse con 
información pública de fuentes como blogs de celebridades, algu- 
nos actores y políticos fueron identificados y fue posible deducir 


45 Melissa Locker, “Microsoft, Duke, and Stanford Quietly Delete Databa- 
ses with Millions of Faces”, en Fast Company, 6 de junio de 2019, disponible 
en línea: <https://www.fastcompany.com/90360490/ms-celeb-microsoft- 
deletes-10m-faces-from-face-database>. 

46 Madhumita Murgia y Max Harlow, “Who's Using Your Face? The Ugly 
Truth about Facial Recognition”, en Financial Times, 19 de abril de 2019, 
disponible en línea: <https://www.ft.com/content/cf19b956-60a2-11 e9-b285- 
3acd5d43599e>. Cuando Financial Times expuso el contenido de este con- 
junto de datos, Microsoft lo eliminó de Internet y un portavoz de la empresa 
afirmó que lo habían hecho solo “porque el desafío de la investigación ha 
terminado”. Melissa Locker, op. cit. 

47 Lorenzo Franceschi-Bicchierai, “Redditor Cracks Anonymous Data Trove 
to Pinpoint Muslim Cab Drivers”, en Mashable, 28 de enero de 2015, disponible 
en línea: <https://mashable.com/2015/01/28/redditor-muslim-cab-drivers/>. 
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la dirección de quienes visitaban clubes de striptease:8 Pero, más 
allá de los daños individuales, tales conjuntos de datos también 
generan “daños predictivos a la privacidad” de grupos o comu- 
nidades enteras.* Por ejemplo, el mismo conjunto de datos de 
taxistas de Nueva York se utilizó para sugerir qué taxistas eran 
musulmanes devotos, observando si se detenfan durante las 
horas de oracién.5° 

De cualquier conjunto de datos en apariencia inofensivo y 
anónimo, pueden surgir muchas formas de información inespe- 
radas y sumamente personales, pero este hecho no ha obstac 
zado la recolección de imágenes y texto. A medida que el ae 
del aprendizaje automático comenzó a depender de conjuntos de 
datos cada vez más grandes, más gente busca adquirirlos. Pero 
¿por qué el campo más amplio de la 1a acepta esta práctica, a pe- 
sar de los problemas éticos, políticos y epistemológicos, y de sus 
daños potenciales? ¿Qué creencias, justificaciones e incentivos 
económicos normalizan esta extracción en masa y equivalencia 
general de datos? 


MITOS Y METÁFORAS DE LOS DATOS 


La muy citada historia de la 1a escrita por el profesor Nils Nilsson 
describe varios de los mitos fundacionales acerca de los datos en 


48 Anthony Tockar, “Riding with the Stars: Passenger Privacy in the nyc 
Taxicab Dataset”, 15 de septiembre de 2014, disponible en línea: <https:// 
agkn.wordpress.com/2014/09/15/riding-with-the-stars-passenger-privacy- 
in-the-nyc-taxicab-dataset/>. 

4 Kate Crawford y Jason Schultz, “Big Data and Due Process: Toward a 
Framework to Redress Predictive Privacy Harms", en Boston College Law 
Review, vol, 55, núm. 1, 2014, disponible en línea: <https://lawdigitalcom- 
mons.bc.edu/belr/vol55/iss1/4>. 

5° Lorenzo Franceschi-Bicchierai, op. cif. 
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el aprendizaje automático. Ilustra hábilmente la manera en que 
los datos se describen de forma típica en las disciplinas técnicas: 


El gran volumen de datos sin procesar requiere técnicas efi- 
cientes de “minería de datos” para clasificar, cuantificar y extraer 
información útil. Los métodos de aprendizaje automático están 
desempeñando un papel cada vez más importante en el análi- 
sis de datos porque pueden manejar cantidades masivas. De 
hecho, entre más datos, mejor.5! 


Haciendo eco de las palabras de Robert Mercer pronunciadas 
décadas atrás, Nilsson percibió que había datos por todos lados, 
para quien quisiera extraerlos, y que esto le venía bien a la cla- 
sificación en masa que hacían los algoritmos de aprendizaje 
automático.5? Era una creencia tan extendida que se había vuelto 
axiomática: los datos están ahí para adquirirse, refinarse y dar- 
les valor. 

Los intereses creados fabricaron y apoyaron cuidadosamente 
esta creencia a lo largo del tiempo. Como señalan los sociólogos 
Marion Fourcade y Kieran Healy, el mandato de recopilar datos 
venía no solo de las profesiones que los utilizaban, sino también 
de sus instituciones y las tecnologías que desarrollaron: 


La orden institucional que proviene de la tecnología es la más 
poderosa de todas: hacemos estas cosas porque podemos. [...] 
Los profesionales recomiendan, el ambiente institucional exige 


51Nils J. Nilsson, op. cit, p. 495. 

52 Y, como bien nos recordó Geoff C. Bowker: “Los datos brutos son a la 
vez un oxímoron y una mala idea; al contrario, los datos deberían cocinarse 
con esmero”. [Aquí está haciendo un juego de palabras: raw data, datos 
brutos, significa literalmente datos crudos. (N. del T)] Geoffrey C. Bowker, 
Memory Practices in the Sciences, Cambridge, miT Press, 2005, pp. 184 y 185. 
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y la tecnología permite a las organizaciones recoger tantos datos 
individuales como sea posible. No importa que la cantidad reco- 
pilada llegue a exceder ampliamente el alcance imaginativo o 
la capacidad analítica de una empresa. Se funciona bajo el 
supuesto de que eventualmente serán útiles; en otras palabras, 
valiosos. [...] Las organizaciones contemporántas están a la vez 
impulsadas culturalmente por el imperativo de los datos y pode- 
rosamente equipadas con las herramientas para desarrollarlo.53 


Esto produjo una especie de imperativo moral de recopilar datos 
para que los sistemas fueran mejores, sin importar el impacto 
negativo que pudiera causar en el futuro. Detrás de la cuestio- 
nable creencia de que “más es mejor” está la idea de que los 
individuos pueden ser completamente conocibles una vez que 
se recopilan suficientes piezas de datos.5 Pero ¿qué cuenta como 
datos? La historiadora Lisa Gitelman señala que cada disciplina 
e institución “tiene sus propias normas y estándares para la ima- 
ginación de los datos”.55 En el siglo xx1, los datos se han vuelto 
cualquier cosa que pueda guardarse. 

Términos como “minería de datos” y frases como “los dai"? 
son el nuevo petróleo” fueron parte de un movimiento retórico 
que desplazó la noción que se tenía de los datos, de algo person, 
íntimo o sujeto a la propiedad y el control individual a algo ie) 
inerte y no humano. Los datos se empezaron a describir como 
un recurso para ser consumido, un caudal a controlar o una 


53 Marion Fourcade y Kieran Healy, “Seeing Like a Market”, en Socio- 
Economic Review, vol. 15, núm. 1, 2016, p. 13, disponible en linea: <https:// 
doi.org/10.1093/ser/mww033> (el énfasis me pertenece). 

54 John W. Meyer y Ronald L. Jepperson, “The ‘Actors’ of Modern Society: 
The Cultural Construction of Social Agency”, en Sociological Theory, vol. 18, 
núm. 1, 2000, pp. 100-120. 

55 Lisa Gitelman (ed.), “Raw Data” Is an Oxymoron, Cambridge, vr Press, 
2013, p. 3. 
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inversión para ser aprovechada. La expresión “datos como pe 
leo” se volvió un lugar común y, aunque sugería una imagen 
los datos como materiales crudos que había que extraer, rara vez 
se usaba para hacer énfasis en los costos derivados de las indus- 
trias del petróleo y la minería: mano de obra mal remunerada, 
conflictos geopolíticos, agotamiento de recursos y consecuenct 
que se extienden más allá de los marcos temporales human: 
Finalmente, la palabra “datos” se ha vuelto aséptica: esconde 
la materialidad tanto de sus orígenes como de sus fines. Y, si los 
datos se ven como algo abstracto e inmaterial, entonces resulta 
más fácil que caigan fuera de los entendimientos y las a al 
bilidades tradicionales del cuidado, el consentimiento y el riesgo- 
Como han argumentado los investigadores Luke Stark y Anna 
Lauren Hoffmann, la metáfora de los datos como “recursos na) 
rales” que están esperando a ser descubiertos es un conocido 
truco retórico que ha sido utilizado durante siglos por los pode- 
res coloniales.57 La extracción se justifica si viene de una fuente 


56 Muchos investigadores han examinado de cerca el trabajo que realizan 
estas metáforas. Los profesores de ciencias de la comunicación Cornelius 
Puschmann y Jean Burgess analizaron las metáforas de datos comunes y 
señalaron dos categorías generalizadas: los datos “como una fuerza natural 
que debe controlarse y [los datos] como un recurso que debe consumirse”. 
Cornelius Puschmann y Jean Burgess, “Big Data, Big Questions: Metaphors of 
Big Data’, en International Journal of Communication, vol. 8, 2014, pp. 1690- 
1709. Los investigadores Tim Hwang y Karen Levy sugieren que describir los 
datos como “el nuevo petróleo” conlleva connotaciones que hacen verlos 
costosos, a la vez que se sugiere la posibilidad de “grandes beneficios para 
quienes tengan los medios para extraerlos”. Tim Hwang y Karen Levy, “The 
Cloud' and Other Dangerous Metaphors”, en The Atlantic 20 de enero de 
2015, disponible en línea: <https://www.theatlantic.com/technology/ 
archive/2015/01/the-cloud-and-other-dangerous-metaphors/384518/>. 

57 Luke Stark y Anna Lauren Hoffmann, “Data Is the New What? Popular 
Metaphors and Professional Ethics in Emerging Data Culture”, en Journal of 
Cultural Analytics, vol. 1, núm. 1, 2019, disponible en linea: <https://doi.org/ 
10.22148/16.036>. 
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primitiva y “sin refinar’>* Cuando se etiquetan los datos como 
“petróleo a la espera de ser extraído”, el aprendizaje automático 
comienza a verse como un proceso necesario de refinamiento. 
Los datos también se han empezado a ver como capital, de 
acuerdo con las visiones neoliberales más amplias que sostienen 
que los mercados son las formas primarias de organ#aci6n del valor. 
Una vez que las actividades humanas se expresan por medio de 
trazos digitales, y luego se contabilizan y clasifican dentro de métri- 
cas de puntuación, funcionan para extraer valor. Como han obser- 
vado Fourcade y Healy, aquellos que tienen las señales de mercado 
correctas sobre los datos obtienen ganancias, como seguros con 
descuento y una mejor posición en los mercados.* A los grandes 
triunfadores de la economía convencional también les suele ir bien 
en la economía de datos, mientras que los más pobres se vuelven 
objetivos de las formas más dañinas de vigilancia y extracción. 
Cuando los datos se consideran una forma de capital, entonces 
todo se justifica a la hora de recopilar m sociólogo Jathan Sa- 
dowski sostiene del mismo modo que los datos hoy operan como 
una forma de capital. Sugiere que una vez que todo se entiende 
como datos, queda justificado el ciclo de extracción cada vez mayor: 


58 Los académicos de las ciencias de la comunicación Nick Couldry y Ulises 
A. Mejías llaman a esto “colonialismo de datos”, impregnado de las prácticas 
históricas depredadoras del colonialismo, pero atado ~y oscurecido— por los 
métodos informáticos contemporáneos. Sin embargo, como han demostrado 
otros estudiosos, esta terminología es de doble filo porque puede ocultar los 
daños reales y continuos del colonialismo. Nick Couldry y Ulises A. Mejías, 
“Data Colonialism: Rethinking Big Data's Relation to the Contemporary Subject’, 
en Television and New Media, vol. 20, núm. 4, 2019, pp. 336-349; Nick Couldry 
y Ulises A. Mejias, The Costs of Connection. How Data Is Colonizing Human Life 
and Appropriating It for Capitalism, Stanford, Stanford University Press, 2019, 
y Maria Soledad Segura y Silvio Waisbord, “Between Data Capitalism and Data 
Citizenship”, en Television and New Media, vol. 20, núm. 4, 2019, pp. 412-419. 

5° Se refieren a este tipo de capital como “ubercapital”. Marion Fourcade 
y Kieran Healy, op. cit. 
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La recolección de datos es, por lo tanto, impulsada por el ciclo 
perpetuo de la acumulación de capital, que a su vez impulsa 
al capital a construir y depender de un mundo en el que todo 
está hecho de datos. La supuesta universalidad de los datos 
replantea todo para que caiga bajo el dominio del capitalismo 
de datos. Todos los espacios deben estar sujetos a la datificación. 
Si el universo es concebido como una reserva potencialmente 
infinita, eso significa, por lo tanto, que la acumulación y circu- 
lación de datos se puede sostener para siempre. 


Este impulso para acumular y circular es la poderosa ideología 
subyacente de los datos. La extracción masiva es la “nueva fron- 
tera de acumulación y el siguiente paso en el capitalismo”, 
sugiere Sadowski; la capa fundacional que hace que la 1a fun- 
cione.*! Por lo tanto, hay industrias, instituciones e individuos 
que no quieren que esta frontera, en la que los datos están ahí 
para que los tome quien sea, sea cuestionada o desestabilizada. 

Los modelos de aprendizaje automático necesitan flujos 
continuos de datos para ser más precisos. Pero las máquinas son 
asintóticas, nunca alcanzan la precisión total, lo que impulsa la 
justificación de extraer lo más posible de la mayor cantidad de 
personas para alimentar las refinerías de la 1a. Esto ha creado 
un desplazamiento de ideas, como “sujetos humanos” (un con- 
cepto que surgió de los debates éticos del siglo xx) a la creación 
de “sujetos de datos”, aglomeraciones de datos sin subjetividad, 
contexto o derechos bien definidos. 


60 Jathan Sadowski, “When Data Is Capital: Datafication, Accumulation, 
and Extraction", en Big Data and Society, vol. 6, núm. 1, 2019, p. 8, disponi- 
ble en linea: <https://doi.org/10.1177/2053951718820549>. 

$ Ibid, p. 9. 
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LA ÉTICA AL ALCANCE DE LA MANO 


Gran parte de la investigación sobre 1a realizada en universi- 
dades se lleva a cabo sin ningún tipo de control ético. Pero si 
se están utilizando técnicas de aprendizaje automático p 
tomar decisiones en dominios tan sensibles corfio la educaci 

y la salud, entonces ¿por qué no están sujetas a un mayor escru- 
tinio? Para entender esta aparente negligencia, debemos obser- 
var las disciplinas precursoras de la La. Antes del surgimiento 
del aprendizaje automático y de la ciencia de datos, no se con- 
sideraba a los campos de las matemáticas aplicadas, las estadís- 
ticas y las ciencias informáticas como formas de investigación 
sobre sujetos humanos. 

En las primeras décadas de la 14, la investigación que usaba 
datos humanos solía verse como un riesgo mínimo.%? A pesar 
de que los conjuntos de datos en el aprendizaje automático a 
medida provienen de y representan a personas y sus vidas, la 
investigación que usaba esos conjuntos se veía como una forma 
de matemática aplicada que traía pocas consecuencias a los 
sujetos humanos. Las infraestructuras de protección ética, como 
las juntas revisoras institucionales (IRB, por su sigla en inglés) 
de las universidades, aceptaron esta posición durante años.53 Ini- 
cialmente, esto tenía sentido: los IRB habían estado abrumado- 


$2 Aquí me baso en una revisión de la historia de los seres humanos como 
sujetos y estudios de datos a gran escala en coautoría con Jake Metcalf. 
Véanse Jacob Metcalf y Kate Crawford, "Where Are Human Subjects in Big 
Data Research? The Emerging Ethics Divide”, en Big Data and Society, vol. 3, 
núm. 1, 2016, pp. 1-14, disponible en línea: <https://doi.org/10.1177/2053 
951716650211>. 

$3 “Federal Policy for the Protection of Human Subjects”, en Federal Regis- 
ter, 8 de septiembre de 2015, disponible en línea: <https://www-federalre- 
gister gov/documents/2015/09/08/2015-21756/federal-policy-for-the-pro- 
tection-of-human-subjects>. 
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ramente centrados en los métodos comunes a la experimenta- 
ción biomédica y psicológica, en los que las intervenciones 
conllevan claros riesgos para los sujetos individuales. La com- 
putación se veía como algo más abstracto. 

Una vez que la 1a se desplazó de los contextos de labora 
rio de los años ochenta y noventa para adentrarse en situaciones 
del mundo real, como intentar predecir qué criminales reincidi- 
rían o quién debería recibir beneficios sociales, los daños poten- 
ciales se expandieron. Además, esos daños afectan tanto a comu- 
nidades enteras como a individuos. Pero todavía se asume con 
convicción que los conjuntos de datos que están disponibles al 
público plantean riesgos mínimos y, por lo tanto, no deberían 
estar sujetos a comisiones de ética.5% Esta idea es producto de 
una era anterior, cuando resultaba más difícil mover los datos 
entre distintas locaciones y era muy costoso almacenarlos du- 
rante largos periodos. Esas suposiciones anteriores están fuera 
de sintonía con lo que está sucediendo actualmente en el apren- 
dizaje automático. Ahora los conjuntos de datos se conectan con 
más facilidad, son reutilizables indefinidamente, actualizables 
continuamente y, con frecuencia, eliminados del contexto de 
recolección. ` ‘ 

El perfil de riesgo de la 1 está cambiando con rapidez, a TC 
dida que sus herramientas se vuelven más invasivas y los inve: 
gadores consiguen acceder con mayor facilidad a los datos, sin 
tener que interactuar con sus sujetos. Por ejemplo, un grupo de 
investigadores de aprendizaje automático publicó un artículo 
en el que aseguraba haber desarrollado un “sistema automático 
para clasificar crímenes”. En particular, se había enfocado en 


64 Véase Jacob Metcalf y Kate Crawford, op. cit. 

65 Sungyong Seo et al, "Partially Generative Neural Networks for Gang 
Crime Classification with Partial Information’, en Proceedings of the 2018 
Aaai/ac Conference on at, Ethics, and Society, diciembre de 2018, pp. 257-263, 
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determinar si un crimen violento estaba relacionado con las 
pandillas, lo que, según afirmaban, su red neuronal podía pre- 
decir con tan solo cuatro piezas de información: el arma, el 
número de sospechosos, el barrio y la ubicación del crimen. 
Hicieron esto usando un conjunto de datos del Departamento 
de Policía de Los Angeles, que incluía miles de Mmenes que la 
policía había etiquetado como relacionados con pandillas. 

Los datos sobre pandillas están notoriamente sesgados y 
plagados de errores y, sin embargo, los investigadores los usan, 
junto con otros similares, como si fueran una fuente definitiv 
para entrenar sistemas de 14 predictivos. Se ha demostrado Wel 
el conjunto de datos de CalGang, por ejemplo, ampliamente 
usado por la policía de California, posee importantes inexacti- 
tudes. El auditor estatal descubrió que un 23% de los cientos 
de registros que revisó no se habían corroborado adecuadamen- 
te para ser incluidos. El conjunto de datos contenía también 42 
menores, 28 de los cuales se habían incluido porque habían 
“admitido pertenecer a una pandilla”. La mayoría de los adul- 
tos en la lista nunca habían sido acusados de ningún crimen, 
pero una vez que pasaron a formar parte de la base de datos no 
había manera de eliminar su nombre de ella. Las razones para 
ser incluidos en esa base podían ser tan simples como charlar 
con un vecino con una camisa roja; con estas justificaciones insig- 


disponible en línea: <https://doi.org/10.1145/3278721.3278758>. Jeffrey 
Brantingham, uno de los autores, también es cofundador de la controvertida 
empresa de vigilancia predictiva PredPol. Véase Ali Winston e Ingrid Burr- 
ington, “A Pioneer in Predictive Policing Is Starting a Troubling New Project”, 
en The Verge (blog), 26 de abril de 2018, disponible en linea: <https://www. 
theverge.com/2018/4/26/17285058/predictive-policing-predpol-pentagon- 
ai-racial-bias>. 

California State Auditor, “The CalGang Criminal Intelligence System”, 
informe 2015-130, Sacramento, agosto de 2016, disponible en linea: <hitps:// 
www.auditor.ca.gov/pdfs/reports/2015-130.pdt>. 
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nificantes, los negros y latinos fueron desproporcionadamente 
agregados a la lista.” 

Cuando los investigadores presentaron su proyecto de pre- 
dicción de crímenes de pandilla en una conferencia, algunos 
participantes quedaron preocupados. Como reportó la revista 
Science, las preguntas de la audiencia incluían: “¿Cómo podía 
el equipo estar seguro de que los datos de entrenamiento no 
contenían sesgos?” y “¿Qué pasa cuando se etiqueta a alguien 
equivocadamente como miembro de una pandilla?” Hau Chan, 
el científico de la computación que ahora está en la Harvard 
University y presentó el trabajo, respondió que no sabía cómo 
se usaría esta nueva herramienta. “[Este es] el tipo de pregunta 
ética que no sé cómo responder adecuadamente”, dijo, pues él 
era solo “un investigador”. Uno de los miembros del público 
respondió citando la letra de una canción satírica de Tom Lehrer 
sobre el ingeniero aeroespacial Wernher von Braun: “Una vez 
que despegan los cohetes, ¿a quién le importa dónde caen?”.58 

Esta separación entre las preguntas éticas y técnicas refleja 
un problema más amplio en el campo, donde no se reconoce la 
responsabilidad por el daño o se considera que está más allá del 
alcance de la investigación. Como escribe Anna Lauren Hoffmann, 


el problema aquí no es solo de conjuntos de datos sesgados o 
algoritmos injustos y sus consecuencias imprevistas. También 
es indicativo de un problema más persistente, en el que los 


6? Sara Libby, “Scathing Audit Bolsters Critics’ Fears about Secretive State 
Gang Database", en Voice of San Diego, 11 de agosto de 2016, disponible en 
línea: <https://www.voiceofsandiego.org/topics/public-safety/scathing-audit- 
bolsters-critics-fears-secretive-state-gang-database/>. 

68 Matthew Hutson, “Artificial Intelligence Could Identify Gang Crimes - 
and Ignite an Ethical Firestorm’, en Science, 28 de febrero de 2018, disponible 
en línea: <https://www.sciencemag.org/news/2018/02/artificial-intelligence- 
could-identify-gang-crimes-and-ignite-ethical-firestorm>. 
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investigadores están reproduciendo activamente ideas que 
dañan a las comunidades vulnerables y refuerzan las injusticias 
actuales. Incluso, si nunca llega a desarrollarse el sistema para 
identificar la violencia de las pandillas que propuso Harvard, 
¿acaso un cierto daño no está ya hecho? ¿No era su proyecto 
un acto de violencia cultural en sí mismo? * 


Dejar de lado las cuestiones éticas es dañino en sí mismo y 
perpetúa la falsa idea de que la investigación científica oc 
en un vacío, sin responsabilidad por las ideas que E e 

La reproducción de ideas dañinas es particularmente peli- 
grosa hoy en día, cuando la 1a se ha desplazado y ha pasado 
de ser una disciplina experimental usada solo en laboratorios 
a probarse en amplia escala con millones de personas. Los mé- 
todos técnicos pueden pasar rápidamente de un artículo para 
una conferencia a desplegarse en sistemas de producción, 
donde las presunciones dañinas pueden arraigar y ser difíciles 
de revertir. 

El aprendizaje automático y los métodos de la ciencia de 
datos pueden crear una relación abstracta entre los investiga- 
dores y sus sujetos en la que el trabajo se hace a distancia, 
alejado de la comunidad y los individuos en riesgo de ser daña- 
dos. Esta relación “al alcance de la mano” entre los investigado- 
res de la 1a y la gente cuyas vidas se ven reflejadas en las bases 
de datos es una práctica de larga data. Ya en 1976, cuando el 
científico de la 1a Joseph Weizenbaum escribió su mordaz criti 
a este campo, señaló que la ciencia de la computación buscalo) 


$2 Anna Lauren Hoffmann, “Data Violence and How Bad Engineering 
Choices Can Damage Society”, en Medium (blog), 30 de abril de 2018, dis- 
ponible en línea: <https://medium.com/s/story/data-violence-and-how-bad- 
engineering-choices-can-damage-society-39e44150e1d4>. 
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eludir todos los contextos humanos.” Argumentó que los sis- 
temas de datos permitían que los científicos operaran durante 
los tiempos de guerra a una distancia psicológica de las personas 
“que serían mutiladas y asesinadas por los sistemas de armas 
que surgirían de las ideas que comunicaron"! La respuesta, 
según Weizenbaum, era lidiar directamente con lo que repre- 
sentan realmente los datos: 


La enseñanza, por lo tanto, es que el científico y el tecnólogo 
tienen que esforzarse activamente, mediante áctos de voluntad 
y de la imaginación, para reducir semejantes distancias psico- 
lógicas, para contrarrestar las fuerzas que tienden a exonerarlo 
de las consecuencias de sus actos. Deben (tan simple como 
esto) pensar en lo que están haciendo, realmente.?2 


Weizenbaum esperaba que los científicos y tecnólogos pensaran 
con mayor profundidad acerca de las consecuencias de su tra- 
bajo... y sobre a quién podía dañar. Pero esto no se volvería el 
estándar en el campo de la 1a. En vez de eso, los datos hoy se 
ven con más frecuencia como algo que se puede tomar a volun- 
tad, usar sin restricciones e interpretar sin contexto. Existe una 
voraz cultura internacional de recolección de datos que puede 
ser explotadora e invasiva y producir daños perdurables.” Y exis- 
ten muchas industrias, instituciones e individuos con fuertes 


7Joseph Weizenbaum, Computer Power and Human Reason. From Jud- 
gment to Calculation, San Francisco, W. H. Freeman, 1976, p. 266. 

7i Ibid, pp. 275 y 276. 

72 Ibid, p. 276. 

73 Para obtener más información sobre la historia de la extracción de 
datos y conocimientos de comunidades marginadas, véanse Sasha Costanza- 
Chock, Design Justice. Community-Led Practices to Build the Worlds We Need, 
Cambridge, MIT Press, 2020, y Catherine D'Ignazio y Lauren F. Klein, Data 
Feminism, Cambridge, MIT Press, 2020. 
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incentivos para mantener esta actitud colonizadora (en la que 
los datos están ahí para tomarse) y no quieren que se la cuestione 
o regule. 


LA CAPTURA DE LOS BIENES COMUNES 


La actual cultura generalizada de extracción de datos sigue cre- 
ciendo, a pesar de las preocupaciones acerca de la privacidad, 
la ética y la seguridad. Al investigar los miles de bases de datos 
que están disponibles gratis para el desarrollo de la 1a, pude 
observar lo que reconocen los sistemas técnicos y cómo se repre- 
senta el mundo para las computadoras de una manera que los 
humanos rara vez ven. Hay bases de datos gigantescas llenas 
de selfis, tatuajes, padres caminando con sus hijos, gestos de las 
manos, gente manejando sus autos, cometiendo crímenes en 
filmaciones de circuito cerrado, y cientos de acciones cotidianas 
como sentarse, saludar, levantar un vaso o llorar. Cada forma de 
datos biográficos (incluidos forenses, biométricos, sociométricos 
y psicométricos) se captura y registra en bases de datos para que 
los sistemas de 1a encuentren patrones y hagan evaluaciones. 
Los conjuntos de datos de entrenamiento despiertan pre- 
guntas que resultan complejas desde las perspectivas ética, me- 
todológica y epistemológica. Muchos de ellos fueron creados 
sin el conocimiento o el consentimiento de la gente, y se reco- 
lectaron de fuentes en línea como Flickr, el buscador de imá- 
genes de Google y YouTube o fueron donados por agencias de 
gobierno como el FBI. Estos datos ahora se usan para expandir 
los sistemas de reconocimiento facial, modular las tasas de los 
seguros de salud, penalizar a los conductores distraídos y ali- 
mentar herramientas policiales de predicción. Pero las prácticas 
de la extracción de datos se están expandiendo todavía más 
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profundamente hacia áreas de la vida humana que antes les 
estaban vedadas o resultaban demasiado costosas. Las compa- 
ñías tecnológicas han usado una variedad de métodos para ganar 
terreno. Se recolectan los datos de voz de dispositivos que yacen 
en las mesadas de cocina o en las mesitas de luz; los datos físi- 
cos provienen de relojes de muñeca y de teléfonos que llevan 
en sus bolsillos; los datos acerca de qué libros y periódicos se 
leen provienen de tabletas y computadoras portátiles; los gestos 
y las expresiones faciales se compilan y evalúan en lugares de 
trabajo y salones de clases. 

Recolectar datos de la gente para construir sistemas de 
plantea ciertos interrogantes sobre la privacidad. Tomemos, E 
ejemplo, el acuerdo que la Royal Free London nus Foundation 
Trust de Gran Bretaña hizo con la subsidiária de Google Deep- 
Mind para compartir los registros de datos de 1.600.000 pacien- 
tes. El National Health Service (ups) de Gran Bretaña es una 
institución venerada, encargada de brindar atención médica 
que, en su mayoría, es gratis para todos, a la vez que mantiene 
los datos de los pacientes a salvo. Pero, cuando se investigó el 
acuerdo con DeepMind, se descubrió que la compañía había 
violado leyes de protección de datos al no dar información sufi- 
ciente a sus pacientes.” En sus conclusiones, la delegada de 
información señaló que “el precio de la innovación no necesita 
ser la erosión de los derechos fundamentales a la privacidad”? 

Sin embargo, hay otros problemas graves que no reciben tanta 
atención mediática como la privacidad. Las prácticas de extrac- 


7 Timothy Revell, “Google DeepMind's NAS Data Deal ‘Failed to Comply’ 
with Law”, en New Scientist 3 de julio de 2017, disponible en línea: <https:// 
www.newscientist.com/article/2139395-google-deepminds-nhs-data-deal- 
failed-to-comply-with-law?/>. 

75 “Royal Free - Google DeepMind Trial Failed to Comply with Data Pro- 
tection Law’, en Information Commissioner's Office, 3 de julio de 2017. 
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ción de datos y de construcción de conjuntos de datos de entre- 
namiento se basan en la captura comercializada de lo que antaño 
formaba parte de los bienes comunes. Esta forma particular de 
erosión es una privatización furtiva, una extracción del valor del 
conocimiento de los bienes públicos. Un conjunto de datos puede 
estar disponible al público, pero el metavalor fe los datos (el 
modelo creado por aquel) es de propiedad privada. Sin duda, se 
pueden hacer muchas cosas buenas con los datos públicos, Pero 
hay una expectativa social, y hasta cierto punto técnica, de que 
el valor de los datos compartidos en línea por instituciones y 
espacios públicos debería regresar al bien público en forma de 
otros bienes comunes. Lo que vemos, en cambio, es a un puñado 
de empresas privadas que ahora tienen mucho poder para extraer 
conocimientos y ganancias de esas fuentes. La nueva fiebre del 
oro de la ra consiste en encerrar distintos campos del conoci- 
miento, sentimiento y acción humanos —cada tipo de dato dis- 
ponible— y atraparlos todos en una lógica expansionista de reco- 
lección sin fin. Se ha vuelto un saqueo del espacio público. 
Básicamente, a lo largo de muchos años, las prácticas de la 
acumulación de datos han contribuido a crear una poderosa 
lógica extractiva, una lógica que ahora es un elemento central 
del funcionamiento del campo de la 1a. Esta lógica ha enrique- 
cido a las compañías tecnológicas que tienen los canales de 
datos más grandes, mientras que los espacios libres de recolec- 
ción de datos han disminuido dramáticamente. Como predijo 
Vannevar Bush, las máquinas tienen apetitos voraces. Pero cómo 
y con qué se las alimenta tiene un impacto tremendo en la ma- 
nera en que interpretarán el mundo, y las prioridades de sus 
maestros siempre van a delinear la forma en que esa visión se 
monetiza. Al mirar las capas de datos de entrenamiento que dan 
forma e informan los modelos y algoritmos de la 14, podemos 
ver que recolectar y etiquetar datos sobre el mundo es una inter- 
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vención social y política, incluso si se disfraza de una interven- 
ción meramente técnica. 

El modo en que los datos se entienden, capturan, clasifican 
y nombran es un acto fundamentalmente de creación y conten- 
ción del mundo. Tiene enormes ramificaciones para la forma en 
que funciona la 1a en el mundo y para las comunidades que se 
verán más afectadas. El mito de la recolección de datos como 
una práctica benevolente de la computación ha oscurecido sus 
operaciones de poder y protegido a aquellos que se benefician 
más, lo que les permite a la vez evadir cualquier responsabilidad 
por sus consecuencias. 


IV. La clasificación 


CEN | 


ESTOY RODEADA de cráneos humanos. Esta habitación contiene 
casi quinientos, recolectados en las primeras décadas del siglo xix. 
Todos están barnizados, con números inscriptos con tinta negra 
sobre el hueso frontal. Delicados círculos caligráficos delimitan 
las áreas del cráneo asociadas en la frenología con cualidades 
particulares, como la “Benevolencia” y la “Veneración”. Algunos 
llevan descripciones en mayúsculas, con palabras como “Holan- 
dés”, “Peruano de la raza inca” o “Lunático”. Cada uno fue minu- 
ciosamente pesado, medido y etiquetado por el craneólogo Samuel 
Morton. Morton era un médico, historiador natural y miembro 
de la Academy of Natural Sciences de Filadelfia. Recolectó estos 
cráneos humanos por todo el mundo, comerció con una red de 
científicos y cazadores que traían especímenes para sus experi- 
mentos, a veces habiendo saqueado tumbas.! Hacia el final de 
su vida, en 1851, Morton había juntado más de mil cráneos, la 
colección más grande del mundo para la época.? Gran parte del 
archivo se encuentra ahora almacenado en la sección de antro- 
pología del Penn Museum de Filadelfia. 


1 Ann Fabian, The Skull Collectors. Race, Science, and America’s Unburied 
Dead, Chicago, University of Chicago Press, 2010. 

Stephen Jay Gould, The Mismeasure of Man, Nueva York, W. W. Norton, 
1996, p. 83 [trad. esp.: La falsa medida del hombre, Barcelona, Crítica, 2004]. 
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Morton no era el clásico frenólogo, porque no creía que la 
personalidad pudiera leerse examinando la forma de la cabeza. 
Más bien, su fin era clasificar y ordenar a las razas humanas “de 
manera objetiva”, comparando las características físicas de sus 
cráneos. Para conseguir esto los dividió entre las cinco “razas” 
del mundo: africana, nativa americana, caucásica, malaya y mon- 
gola; una taxonomía común para la época, que refleja la menta- 
lidad colonialista que dominaba su geopolítica. Este era el punto 
de vista del poligenismo, la creencia de que las distintas razas 
humanas habían evolucionado separadamente en diferentes épo- 
cas; creencia legitimada por académicos blancos europeos y esta- 
dounidenses y recibida por los exploradores coloniales para jus- 
tificar la violencia y el despojo racistas.* La craneometría creció 
hasta volverse uno de sus métodos principales, ya que pretendía 
evaluar con precisión las diferencias y los méritos humanos. 

Muchos de los cráneos que observo pertenecen a personas 
nacidas en África que murieron, sin embargo, esclavizadas en 
las Américas. Morton los midió llenando las cavidades craneales 
con perdigones de plomo y luego vertiéndolos en cilindros y 
midiendo el volumen de plomo en pulgadas cúbicas.* Publicó 
sus resultados y los comparó con:cráneos que había obtenido 
de otros lugares: por ejemplo, sostuvo que la gente blanca tenía 
los crárieos más grandes, mientras que los negros estaban en la 


3 Elizabeth Kolbert, “There's No Scientific Basis for Race - It's a Made-Up 
Label’, en National Geographic, 12 de marzo de 2018, disponible en línea: 
<https://www.nationalgeographic.com/magazine/2018/04/race-genetics- 
science-africa/>. 

4Terence D. Keel, “Religion, Polygenism and the Early Science of Human 
Origins”, en History of the Human Sciences, vol. 26, núm. 2, 2013, pp. 3-32, 
disponible en linea: <https://doi.org/10.1177/0952695 113482916>. 

5 David Hurst Thomas, Skull Wars. Kennewick Man, Archaeology, and the 
Battle for Native American Identity, Nueva York, Basic, 2002. 

6 Ibid, p. 85. 


Un cráneo de la colección de Morton 
con la inscripción “lunático”. Fotografía 
de Kate Crawford. 


parte más baja de la escala. Los gráficos de Morton de los volú- 
menes medio por raza se consideraron la vanguardia de la cien- 
cia de la época. Su trabajo se citó como objetivo durante el resto 
del siglo, datos duros que probaban la inteligencia relativa de las 
razas humanas y la superioridad biológica de la raza caucásica. 
Esta investigación fue usada en Estados Unidos para mantener 
la legitimidad de la esclavitud y la segregación racial.” Como se 


7 Tbram X. Kendi, “A History of Race and Racism in America, in 24 Chap- 
ters", en The New York Times, 22 de febrero de 2017, disponible en línea: 
<https://www.nytimes.com/2017/02/22/books/review/a-history-of-race- 
and-racism-in-america-in-24-chapters.html>. 


LA CLASIFICACION 191 


192 ATLAS DE INTELIGENCIA ARTIFICIAL 


consideraba la ciencia de vanguardia en la época, se la utilizó 
para autorizar la opresión racial hasta mucho después de que 
los estudios dejaran de citarse. 

Pero el trabajo de Morton no era el tipo de evidencia que 
decía ser. Como describe Stephen Jay Gould en su influyente La 
falsa medida del hombre: 


En definitiva, y para decirlo sin rodeos, las síntesis de Morton 
son un popurrí de manipulaciones y artimañas que claramente 
tienen por objeto controlar creencias que ya se tenían de antes. 
Y, sin embargo (y este es el aspecto más intrigante del caso), no 
encuentro ninguna evidencia de un fraude consciente. [...] La 
prevalencia de artimañas inconscientes, por otro lado, sugiere 
una conclusión general respecto al contexto social de la ciencia. 
Ya que, si los científicos pueden honestamente engañarse a sí 
mismos hasta el punto en que lo hizo Morton, entonces se 
pueden encontrar prejuicios en todas partes, incluso en aspec- 
tos básicos como medir huesos y hacer cuentas. 


Gould, y muchos otros desde entonces, han vuelto a pesar los 
cráneos y a examinar la evidencia de Morton.? Este cometió 
equivocaciones y errores de cálculo, así como omisiones de pro- 
cedimiento, como ignorar el hecho básico de que las personas 
más grandes tienen cerebros más grandes.!0 Eligió selectivamente 


8 Stephen Jay Gould, op. cit, p. 88. 

9 Paul Wolff Mitchell, “The Fault in His Seeds: Lost Notes to the Case of 
Bias in Samuel George Morton's Cranial Race Science”, en Pros Biology, vol. 
16, núm. 10, 2018, disponible en linea: <https://doi.org/10.1371/journal. 
pbio.2007008>. 8 7 

10 Alexandra Horowitz, “Why Brain Size Doesn’t Correlate with Intelli- 
gence”, en Smithsonian Magazine, diciembre de 2013, disponible en linea: 
<https://www.smithsonianmag.com/science-nature/why-brain-size-doesnt- 
correlate-with-intelligence-180947627/>. 


| 


: 
: 


LA CLASIFICACION 193 


muestras que respaldaban sus creencias sobre una supremacía 
blanca y eliminó las submuestras que embarullaban sus prome- 
dios. Evaluaciones contemporáneas de los cráneos en el Penn 
Museum no muestran diferencias significativas entre las perso- 
nas, incluso utilizando los datos de Morton.!! Pero los prejuicios 
previos, la manera de ver el mundo, le habían dado forma a lo 
que él creía que era una ciencia objetiva, que era más bien un 
bucle que se perpetuaba a sí mismo, influyendo sus resultados 
tanto como los mismos cráneos llenos con plomo. 
La craneometría era, como indica Gould, “la principal cien- 

cia numérica del determinismo biológico durante el siglo xix” 
y se basaba en “errores atroces” en términos de sus supuestos 
fundamentales: que el tamaño del cerebro equivalía a la inteli- 
gencia, que había razas humanas separadas que eran especies 
biológicas distintas y que esas razas podían ordenarse jerárqui- 
camente de acuerdo con su intelecto y personalidad innata.1? 
En última instancia, este tipo de ciencia racial fue desacreditada, 

pero, como ha argumentado Cornel West, sus metáforas, su 16- 
gica y sus categorías dominantes no solo respaldaron la supre- 

macía blanca, sino que también volvieron posibles algunas ideas 

políticas específicas acerca de la raza, al mismo tiempo que le 

cerraban la puerta a otras. 13 

El legado de Morton presagia los problemas epistemológicos 

presentes en la medición y la clasificación en la inteligencia 

artificial (ra). La correlación de la morfología craneal con la inte- 
ligencia y, en última instancia, los reclamos de derechos legales, 
funcionan como una coartada técnica para el colonialismo y la 


1 Paul Wolff Mitchell, op. cit. 
Stephen Jay Gould, op. cif, p. 58. 
(7 Cornel West, “A Genealogy of Modern Racism’, en Philomena Essed y 


David Theo Goldberg (eds.), Race Critical Theories: Text and Context, Malden, 
Blackwell, 2002, p. 91. 
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esclavitud." Si bien existe la tendencia a ocuparse de los erro- 
res a la hora de medir los cráneos y cómo corregirlos, el error más 
grande es la visión de mundo subyacente que animó esta meto- 
dología. La meta, por lo tanto, no debería ser pedir mediciones 
de cráneo más precisas para apuntalar los modelos racistas de 
inteligencia, sino condenar el método por completo. Las prácticas 
de clasificación que Morton usó eran inherentemente políticas, y 
sus inválidas suposiciones sobre la inteligencia, la raza y la bio- 
logía tuvieron efectos sociales y económicos de gran alcance. 
La política de clasificación es una práctica central de la P 
Las prácticas de clasificación dan cuenta de cómo se reconoce 
produce la inteligencia de las máquinas, desde los laboratorios 
universitarios hasta la industria tecnológica. Como vimos en el 
capítulo anterior, los artefactos en el mundo son transformados 
en datos por medio de extracciones, mediciones, etiquetado y 
ordenamiento, y esto se vuelve, intencionalmente o no, una ver- 
dad fundamental inestable para los sistemas técnicos que son 
entrenados con esos datos. Y cuando se demuestra que algún 
sistema de 1a produce resultados discriminatorios dentro de las 
categorías de raza, clase, género, discapacidad o edad, las compa- 
ñías enfrentan grandes presiones para reformar sus herramientas 
o diversificar sus datos. Pero el resultado suele ser una respuesta 
limitada, por lo general un intento de abordar los problemas téc- 
nicos y los datos sesgados para hacer que el sistema de 1a parezca 
más justo. Lo que se suele olvidar es una serie de preguntas más 
fundamentales: ¿cómo funciona la clasificación en el aprendizaje 
automático? ¿Qué está en juego cuando hacemos clasificaciones? 
¿De qué maneras interactúan las clasificaciones con lo que ha sido 


14 Teryn Bouche y Laura Rivard, “America's Hidden History: The Eugenics 
Movement”, en Scitable, 18 de septiembre de 2014, disponible en linea: 
<https://www.nature.com/scitable/forums/genetics-generation/america-s- 
hidden-history-the-eugenics-movement-123919444/>. 
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clasificado? ¿Y qué teorías sociales y políticas tácitas subyacen y 
están respaldadas por estas clasificaciones del mundo? 

En su estudio de referencia sobre la clasificación, Geoffrey 
Bowker y Susan Leigh Star escriben que “las clasificaciones son 
tecnologías poderosas. Incrustadas en infraestructuras operati- 
vas, se vuelven relativamente invisibles, sin perder ni un ápice 
de su poder”.!5 La clasificación es un acto de poder, ya sea etig 
tando imágenes en conjuntos de datos de entrenamiento, ras- 
treando personas por medio del reconocimiento facial o llenando 
cráneos con plomo. Pero las clasificaciones pueden desaparecer, 
como observan Bowker y Star, “dentro de la estructura, dentro 
del hábito, dentro de lo que se da por sentado”.!ó Podemos olvi- 
dar fácilmente que las clasificaciones que se eligen casualmente 
para darle forma a un sistema técnico pueden jugar un 1 
dinámico a la hora de delinear el mundo social y SE el 

La tendencia a enfocarse en el asunto de los sesgos nos ha 
alejado de la tarea de evaluar las prácticas centrales de la clasi- 
ficación en la 1a, junto con las políticas que la acompañan. Para 
ver todo esto en acción, en este capítulo exploraremos algunos 
de los conjuntos de datos de entrenamiento del siglo xx1 y obser- 
varemos la manera en que sus patrones de ordenamiento social 
naturalizan las jerarquías y magnifican las desigualdades. Tam- 
bién veremos los límites de los debates sobre el sesgo en la 1a, 
en los que a menudo se propone una paridad matemática para 
producir “sistemas más justos”, en vez de lidiar con las estruc- 
turas sociales, políticas y económicas subyacentes. En definitiva, 


consideraremos la forma en que la 1A usa la clasificación para col 
dificar el poder. 


15 Geoffrey C. Bowker y Susan Leigh Star, Sorting Things Out. Classifica- 
tion and Its Consequences, Cambridge, wm Press, 1999, p. 319. 
16 Ibid. 
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SISTEMAS DE LÓGICA CIRCULAR 


Diez años atrás, sugerir que podía existir un problema de sesgo 
en la 1a habría sido algo poco convencional. Ahora, en cambio, 
abundan los ejemplos de sistemas discriminatorios, desde los 
sesgos de género en los algoritmos de solvencia de Apple al ra- 
cismo en el software de evaluación de reincidencia criminal 
COMPAS y ala discriminación por edad en el enfoque de la publi- 
cidad de Facebook.*? Las herramientas de reconocimiento de 
imágenes clasifican incorrectamente los rostros de personas 
negras, los chatbots usan lenguaje racista y misógino, el software 
de reconocimiento de voz no consigue identificar las voces feme- 
ninas y las plataformas de redes sociales muestran anuncios de 
trabajos siempre mejor remunerados para los hombres que para 
las mujeres.'® Como han demostrado los académicos Ruha Ben- 


17 Evelina Nedlund, “Apple Card Is Accused of Gender Bias; Here's How 
That Can Happen”, en cnn, 12 de noviembre de 2019, disponible en línea: 
<https://edition.cnn.com/2019/11/12/business/apple-card-gender-bias/ 
index.html»; Julia Angwin et al, “Machine Bias", en ProPublica, 23 de mayo 
de 2016, disponible en linea: <https://www propublica.org/article/machine- 
bias-risk-assessments-in-criminal-sentencing>, y Julia Angwin et al, “Dozens 
of Companies Are Using Facebook to‘Exclude Older Workers from Job Ads", 
en ProPublica, 20 de diciembre de 2017, disponible en linea: <https://www. 
propublica.org/article/facebook-ads-age-discrimination-targeting>. 

18 Conor Dougherty, “Google Photos Mistakenly Labels Black People Got 
las”, en Bits Blog (blog), 1° de julio de 2015, disponible en línea: <https://bits. 
blogs.nytimes.com/2015/07/01/g00 gle-photos-mistakenly-labels-black- 
people-gorillas/>; Sarah Perez, “Microsoft Silences Its New al Bot Tay, after 
Twitter Users Teach It Racism [Updated]", en TechCrunch (blog), 24 de marzo 
de 2016, disponible en linea: <https://techcrunch.com/2016/03/24/microsoft- 
silences-its-new-a-i-bot-tay-after-twitter-users-teach-it-racism/>; Graeme 
McMillan, “It’s Not You, It’s It: Voice Recognition Doesn't Recognize Women’, 
en Time, 1° de junio de 2011, disponible en linea: <https://techland time. 
com/201 1/06/01 /its-not-you-its-it-voice-recognition-doesnt-recognize- 
women/>, y Garett Sloane, “Online Ads for High-Paying Jobs Are Targeting 
Men More Than Women", en AdWeek (blog), 7 de julio de 2015, disponible 
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jamin y Safiya Noble, hay cientos de ejemplos a lo largo del eco- 
sistema tecnológico.** Muchos otros nunca han sido detectados 
o admitidos públicamente. 
Si nos fijamos en la estructura típica de un episodio de esta 
narrativa en desarrollo sobre el sesgo de la 1a, veremos que co- 
mienza con un periodista de investigación o con fin soplón reve- 
lando la manera en que un sistema de 1a produce resulta 
discriminatorios. La historia se difunde ampliamente y la Ra 
pañía en cuestión promete encargarse del tema. Después, o bien 
el sistema se remplaza por algo nuevo o se realizan intervencio- 
nes técnicas que buscan producir resultados que evidencien una 
mayor paridad. Estos resultados y arreglos técnicos siguen siendo 
de propiedad exclusiva y se mantienen en secreto, mientras se 
le dice al público que puede estar tranquilo porque se ha “curado” 
la enfermedad del sesgo.20 Es mucho más raro que haya un de- 
bate público sobre por qué siguen ocurriendo estas formas 
sesgo y discriminación con tanta frecuencia y si están en me] 
problemas más fundamentales que un conjunto de datos sub- 
yacente que resulta inadecuado o un algoritmo mal diseñado. 
Uno de los ejemplos más vívidos de cómo funciona el sesgo 

proviene de un relato desde el interior de Amazon. En 2014, la 
compañía decidió experimentar automatizando el proceso de 
recomendación y contratación de personal. Si la automatización 


en línea: <https://www.adweek.com/digital/seemingly-sexist-ad-targeting- 
offers-more-men-women-high-paying-executive-jobs-165782/>. 

1? Véanse Ruha Benjamin, Race after Technology. Abolitionist Tools for the 
New Jim Code, Cambridge, Polity, 2019, y Safiya Umoja Noble, Algorithms 
of Oppression. How Search Engines Reinforce Racism, Nueva York, NYU Press, 
2018. 

20 Tristan Greene, “Science May Have Cured Biased Ar”, en The Next Web, 
26 de octubre de 2017, disponible en linea: <https://thenextweb.com/arti- 
ficial-intelligence/2017/10/26/scientists-may-have-just-created-the-cure- 
for-biased-ai/>. 
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había funcionado para conseguir beneficios con la recomenda- 
ción de productos y la organización de los centros de distribución, 
de acuerdo con esta lógica también podía hacer que la contrata- 
ción resultara más eficiente. Según palabras de un ingeniero; 
“Literalmente querían que fuera una máquina a la que le dieras 
cien currículos y te escupiera de vuelta los cinco mejores para. 
contratar"?! El sistema de aprendizaje automático estaba diseñado a 
para valorar a las personas en una escala del uno al cinco, repli- 
cando el sistema de evaluación de los productos de Amazon. Para 
construir el modelo subyacente, los ingenieros de Amazon usaron 
un conjunto de datos que contenía diez años de currículos de 
sus empleados y luego entrenaron un modelo estadístico con 
cincuenta mil términos que aparecían en esos currículos. Rápi- 
damente el sistema empezó a asignarle menos importancia a 
términos que usaban comúnmente los ingenieros, como los 
lenguajes de programación, porque todos los ponían en sus his- 
toriales de trabajo. En vez de eso, los modelos empezaron a va- 
lorar entradas más sutiles que recurrían en las aplicaciones que 
habían tenido éxito. Se dio una fuerte preferencia por verbos 
particulares. Los ejemplos que los ingenieros mencionaron fue- ! 
ron “ejecutado” y “capturado”2?, . 
Los reclutadores empezaroría usar el sistema como un suple- 
mento para sus prácticas habituales.2 Pero pronto apareció un 


problema serio: el sistema no recomendaba mujeres. Degradaba 
activamente aquellos currículos de candidatas que habían asis- 
tido a universidades para mujeres, junto con cualquier otro 
currículum que incluso incluyera la palabra “mujer”. Aun des- 
pués de editar el sistema para quitar la influencia o las referen- 
cias explícitas al género, los sesgos persistieron. Los proxys de 
masculinidad hegemónica siguieron emergiendo en el uso 
mismo del lenguaje. El modelo estaba sesgado contra las muje- 
res no solo como una categoría, sino incluso contra las formas 
de expresión de género más comunes. 

Inadvertidamente, Amazon había creado una herramienta 
de diagnóstico. La gran mayoría de los ingenieros contratados por 
la empresa a lo largo de diez años habían sido hombres, por lo 
que los modelos que ellos mismos habían creado, entrenados 
con los currículos de hombres que habían tenido éxito en la em- 
presa, habían aprendido a recomendar la contratación de más 
hombres. Las prácticas de contratación del pasado y del presente 
estaban dando forma a las herramientas de contratación del 
futuro. El sistema de Amazon reveló inesperadamente los modos 
en que el sesgo ya estaba presente, desde la manera en que la 
| masculinidad estaba codificada en el lenguaje, en los currículos 
| yenla compañía misma. La herramienta fue una intensificación 
i 
S 


de las dinámicas ya existentes en Amazon y subrayó la falta de 
diversidad en la industria de la 1a, tanto pasada como presente.?* 
21 Jeffrey Dastin, “Amazon Scraps Secret AI Recruiting Tool That Showed 
Bias against Women’, en Reuters, 10 de octubre de 2018, disponible en línea: 
<https://www.reuters.convarticle/us-amazon-com-jobs-automation-insight- ` 
idUSKCNIMKO08G>. 

22 Ibid. oe 

23 Esto es parte de una tendencia más amplia hacia la automatización de 
aspectos de la contratación. Para una descripción detallada, véase Tfeoma 
Ajunwa y Daniel Greene, “Platforms at Work: Automated Hiring Platforms. 
and other new Intermediaries in the Organization of Work’, en Steven P 
Vallas y Anne Kovalainen (eds.), Work and Labor in the Digital Age, Bingley, 
Emerald, 2019, pp. 66-91. 


2 Existen varios excelentes recuentos de la historia de la desigualdad y 
la discriminación en la computación. Estos son algunos de los que han 
informado mi manera de pensar sobre estos temas: Mar Hicks, Programmed 
Inequality: How Britain Discarded Women Technologists and Lost Ifs Edge in 
Computing, Cambridge, mrt Press, 2017; Charlton Mcllwain, Black Software: 
The Internet and Racial Justice, from the AfroNet to Black Lives Matter, Nueva 
York, Oxford University Press, 2019; Jennifer S. Light, “When Computers 
- - Were Women’, en Technology and Culture, vol. 40, núm. 3, 1999, pp. 455-483, 
_ disponible en línea: <https://wwwjstor.org/stable/25147356>, y Nathan 
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Eventualmente Amazon dio de baja a su experimento de 
contratación. Pero la escala del problema del sesgo va mucho 
más allá de un solo sistema o método fallido. La industria de 
la 1a ha entendido el problema del sesgo típicamente como un 
error del sistema que se puede arreglar y no como una carac- 
terística de la clasificación en sí. Como resultado, se ha enfocado 
en ajustar sistemas técnicos para producir una paridad cuan- 
titativamente mayor entre los distintos grupos, lo que, como 
veremos a continuación, ha terminado creando sus propios 
problemas. 

Entender la relación entre sesgo y clasificación requiere ir 
más allá de un simple análisis de la producción de conocimiento 
(determinar, por ejemplo, si un conjunto de datos está sesgado 
o no) y observar, en cambio, la mecánica detrás de la misma 
construcción de conocimiento, lo que la socióloga Karin Knorr 
Cetina llama “la maquinaria epistémica”.?* Para poder ver eso se 
requiere observar la forma en que los patrones de desigualdad 
en el transcurso de la historia delinean el acceso a los recursos 
y las oportunidades, lo que a su vez delinea los datos. Esos datos, 
entonces, se extraen para utilizarse en sistemas técnicos para 
clasificar y reconocer patrones; lo que produce resultados que 
de alguna manera se perciben como objetivos. El resultado es 
una serpiente que se come la cola estadística: una máquina de 
discriminación que se autoperpetúa amplificando las desigual- 
dades sociales bajo el disfraz de una neutralidad técnica. 


Ensmenger, “Computation, Materiality, and the Global Environment”, en IEEE 
Annals of the History of Computing, vol. 35, núm. 3, 2013, p. 80, disponible 
en línea: <https://www.doi.org/10.1109/MAHC.2013.33>. 

25 Karin Knorr Cetina, Epistemic Cultures. How the Sciences Make Knowledge, 
Cambridge, Harvard University Press, 1999, p. 3. 
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Los LÍMITES DE LOS SISTEMAS A LA HORA 
DE CORREGIR SESGOS 


Para entender mejor las limitaciones cuando se analizan los 
sesgos de la 1a, podemos echar una mirada a los intentos por 
arreglarlos. En 2019 18m intentó responder a las Hreocupaciones 
por los sesgos en sus sistemas de 1A creando lo que la compañía 
describió como un conjunto de datos más “inclusivo” llamado 
Diversity in Faces (Dir) [Diversidad en los rostros]. pir forma! 
parte de la respuesta de la industria al innovador trabajo pu- 
blicado un año antes por los investigadores Joy Buolamwini y 
Timnit Gebru, quienes habían demostrado que varios sistemas 
de reconocimiento facial (incluidos los de 18m, Microsoft y Ama- 
zon) cometían mayores errores cuando se trataba de personas 
de piel más oscura, y en particular de mujeres.?7 Como resultado, 
se llevaron a cabo esfuerzos dentro de las tres compañías para 
demostrar que estaban haciendo progresos para rectificar el 
problema. 

“Esperamos que el reconocimiento facial funcione de forma 
precisa para cada uno de nosotros”, escribieron los investiga- 
dores de 18M; pero la única manera de “resolver el desafío de la 
diversidad” sería construyendo “un conjunto de datos que con- 
tuviera el rostro de cada persona en el mundo”28 Los investiga- 


26 Michele Merler et al, “Diversity in Faces”, en arXiv, 8 de abril de 2019, 
disponible en linea: <https://arxiv.org/abs/1901.10436>. 

"Jos Buolamwini y Timnit Gebru, “Gender Shades: Intersectional Accu- 
racy Disparities in Commercial Gender Classification”, en Proceedings of the 
First Conference on Fairness, Accountability and Transparency, pir, vol. 81, 
2018, pp. 77-91, disponible en línea: <http://proceedings.mlr.press/v8 1/buo- 
lamwini18a.html>, e Inioluwa Deborah Raji et al, “Saving Face: Investigating 
the Ethical Concerns of Facial Recognition Auditing’, en Proceedings of the 
AAAVACM Conference on ai, Ethics, and Society, Nueva York, Association for 
Computing Machinery, 2020, pp. 145-151. 

28 Michele Merler et al, op. cit. 
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dores de 18M decidieron utilizar un conjunto de datos preexis- 
tente de cien millones de imágenes tomadas de Flickr, la 
colección más grande disponible al público en Internet en ese 
momento.?? Después usaron un millón de fotos para una mues- 
tra pequeña y midieron las distancias craneofaciales entre pun- 
tos clave de cada rostro: ojos, ancho de la nariz, altura de los labios 
y de las cejas, etc. Como Morton midiendo cráneos, los investi- 
gadores de 18M buscaron asignar medidas craneales y crear 
categorías de diferencia. ; 

El equipo de 18M señaló que su meta era incrementar 
diversidad de los datos de reconocimiento facial. Aunque actu 
ron de buena fe, las clasificaciones que usaron revelan la politica 
de lo que significaba diversidad en ese contexto. Por ejemplo, 
para etiquetar el género y la edad de cualquier rostro, el equipo 
les asignó tareas a trabajadores de crowdsourcing, pidiéndoles 
que tomaran notas subjetivas usando el modelo restrictivo de los 
géneros binarios. A cualquiera que pareciera caer fuera de este 
orden se le sacaba del conjunto de datos. La visión de diversidad 
de 18m ponía énfasis en amplias opciones para la altura de la 6r- 
bita craneal y los puentes nasales, pero descartaba la existencia 


de personas trans o no binarias. La palabra “equidad” pasó a sig = 


nificar mayores tasas de precisión para el reconocimiento facial 
dirigido por máquinas, y “diversidad” se refería tan solo auni 
gama más amplia de rostros para entrenar el modelo. El análisis 
craneométrico funciona como una publicidad engañosa que 


termina despolitizando la idea de diversidad y la remplaza con 
un enfoque en la variación. Los diseñadores tienen la última. 
palabra sobre cuáles son las variables y cómo se asigna a g 


29 “yECciooM Core Dataset”, en Multimedia Commons Initiative, 4 de 
diciembre de 2015, disponible en línea: <hitps://multimediacommons.word- 


press.com/yfcc100m-core-dataset/>. 
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personas a categorías. Una vez más, la práctica de la clasificación 
centraliza el poder: el poder para decidir qué diferencias hacen 
una diferencia. 

Los investigadores de IBM llegaron a una conclusión toda- 
vía más problemática: “Algunos aspectos de nuestra herencia 
(incluidas raza, etnicidad, cultura, geografía) y nftestra identidad 
individual (edad, género y formas visibles de expresión perso- 
nal) se reflejan en nuestros rostros”30 Esta afirmación va direc- 
tamente contra décadas de investigaciones que han desafiado 
la idea de que la raza, el género y la identidad son categorías 
biológicas, sino que se las entiende mejor como construcciones 
políticas, culturales y sociales.3! Incorporar afirmaciones de iden- 
tidad en sistemas técnicos, como si fueran hechos observables 
en el rostro, es un ejemplo de lo que Simone Browne llama “epi- 
dermalización digital”, la imposición de la raza en el cuerpo. 
Browne define esto como el ejercicio del poder cuando la mirada 
incorpórea de las tecnologías de vigilancia “hace el trabajo de 
alienar al sujeto produciendo una ‘verdad’ sobre el cuerpo y la 
: identidad (o identidades) de alguien a pesar de lo que ese sujeto 
1 afirme”32 
Los problemas fundacionales del método de 18M para cla- 
| Sificar la diversidad surgen de este tipo de producción centra- 
lizada de la identidad, liderada por las técnicas de aprendizaje 
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30 Michele Merler et al, op. cit, p. 1. 

3! Hay muchos libros excelentes sobre estos temas, pero, en particular, 
véanse Dorothy Roberts, Fatal Invention. How Science, Politics, and Big Busi- 
ness Re-Create Race in the Twenty-First Century, Nueva York, New Press, 2011, 
pp. 18-41, y Alondra Nelson, The Social Life of DNA. Race, Reparations, and 
Reconciliation after the Genome, Boston, Beacon, 2016, p. 43. Véase también 
Sarah A. Tishkoff y Kenneth K. Kidd, “Implications of Biogeography of Human 
Populations for ‘Race’ and Medicine”, en Nature Genetics, vol. 36, núm. 11, 
2004, s21-s27, disponible en linea: <https://doi.org/10.1038/ng1438>. 

32 Simone Browne, “Digital Epidermalization: Race, Identity and Biometrics", 
en Critical Sociology, vol. 36, mim. 1, enero de 2010, p. 135. 
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automático que el equipo tenía a disposición. La detección Se 
color de piel se hace porque se puede, no porque diga algo ace 

ca de la raza o produzca un entendimiento cultural más pro- 
fundo. De forma similar, el uso de mediciones craneales se hi 
porque es un método que se puede hacer con el er = 
automático. El potencial de las herramientas se vuelve el hori- 
zonte de la verdad. La capacidad de poner en práctica medicio- 
nes craneales y la epidermalización digital a escala impulsan el 
deseo de encontrarle significado a estos métodos, incluso si no 
tienen nada que ver con la cultura, la herencia o la diversidad. 
Se utilizan para aumentar una comprensión problemática de la 
precisión. Las afirmaciones técnicas acerca de la ESCH y el 
desempeño, por lo general, están impregnadas de decisiones 
políticas sobre las categorías y las normas, pero rara vez esto se 
reconoce.33 Estos métodos se fundan en una premisa ideológi 

de la biología como destino, donde nuestros rostros se vuelo) 
nuestro destino. 


LAS MÚLTIPLES DEFINICIONES DE SESGO 


Desde la Antigüedad, el acto de:clasificación se ha alineado con 
el poder. En la teología, la capacidad de nombrar y dividir las 
cosas era un acto divino de Dios. La palabra “categoría” viene el 
griego antiguo kategoria, que se forma de las raíces kata (en 
contra) y agoreu (hablar en público). En griego, la palabra puede 
ser una afirmación lógica o una acusación en un juicio, alu- 


33 Sebastian Benthall y Bruce D. Haynes, “Racial Categories in Machine 
Learning”, en zar* 19. Proceedings of the Conference on Fairness, Accounta- 
bility, and Transparency, Nueva York, acM Press, 2019, pp. 289-298, dispo- 
nible en línea: <https://dLacm.org/doi/10.1145/3287560.3287575>. 


LA CLASIFICACIÓN 205 


diendo tanto a los métodos científicos como a los métodos lega- 
les de categorización. 

El linaje histórico del “sesgo” como término es mucho más 
reciente. Aparece por primera vez en la geometría del siglo x1v,* 
cuando se refiere a una línea oblicua o diagonal. Para el siglo su. 
había adquirido algo parecido a su significado popular actual, de 
“prejuicio indebido”. Para la primera década del siglo xx, había 
desarrollado un significado más técnico en las estadísticas, donde 
se usaba para referirse a diferencias sistemáticas entre una mues- 
tra y una población, cuando la muestra no refleja realmente el 
conjunto.** El campo del aprendizaje automático toma de esta 
tradición estadística su entendimiento del sesgo, donde se rela- 
ciona con un conjunto de otros conceptos: generalización, cla- 
sificación y variación. 

Los sistemas de aprendizaje automático están diseñados 
para hacer generalizaciones a partir de grandes conjuntos (e 
ejemplos de datos de entrenamiento y para clasificar correcta 
mente nuevas observaciones que no se incluyeron en esos con- 
juntos.** En otras palabras, los sistemas de aprendizaje automá- 
tico pueden realizar un tipo de inducción, aprendiendo de 
ejemplos específicos (como los currículos viejos de los candi- 
datos a un trabajo) para decidir qué datos buscar en los ejemplos 

nuevos (como agrupaciones de palabras en los currículos de 
los nuevos candidatos). En tales casos, el término “sesgo” se re- 
fiere a un tipo de error que puede ocurrir durante este proceso 


* Se refiere aquí a una de las acepciones de la palabra inglesa bias, corres- 
pondiente a “diagonal” en nuestro idioma. [N. del T] 

34 Tom M. Mitchell, “The Need for Biases in Learning Generalizations", 
documento de trabajo, Rutgers University, mayo de 1980. 

35 Thomas Dietterich y Eun Bae Kong, “Machine Learning Bias, Statistical 
Bias, and Statistical Variance of Decision Tree Algorithms”, articulo inédito, 
Oregon State University, 1995, disponible en línea: <http://citeseerxist.psu. 
edu/viewdoc/summary?doi=10,1.1.38,2702>. 
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predictivo de generalización; específicamente, un error de da- 
sificación sistemático o repetido consistentemente que el sis- 
tema exhibe cuando se le presentan nuevos ejemplos. Este tipo 
de sesgo a menudo se contrasta con otro tipo de error de gene- 
ralización, la desviación, que se refiere a la sensibilidad de un 
algoritmo frente a las diferencias en los datos de entrenamiento. 
Un modelo con un sesgo alto y una desviación pequeña puede 
estar ajustando muy poco los datos y fallar en capturar todas 
sus características o señales importantes. Por otro Jado, un mo- 
delo con una alta desviación y un sesgo pequeño puede estar 
sobreajustando los datos y crear un modelo demasiado cercanos 
alos datos de entrenamiento, con lo que se captura potencial- 
mente “ruido”, además de las características importantes de los 
datos.36 , 
Fuera del aprendizaje automático, el “sesgo” tiene muchos 
otros significados. Por ejemplo, en el derecho se refiere a nocio: 
nes u opiniones preconcebidas, juicios basados en prejuicios, 
en lugar de decisiones que provengan de una evaluación impar- 
cial de los hechos de un caso.” En psicología, Amos Tversky 
y Daniel Kahneman estudian “sesgos cognitivos”, o las formas 
en que el juicio humano se desvía sistemáticamente = las ex- 
pectativas probabilisticas.** Investigaciones mas recientes so- 
bre sesgos implicitos destacan las formas en que las actitudes 
y los estereotipos inconscientes “producen comportamientos 
que divergen de las creencias O principios declarados de una 


36 Pedro Domingos, “A Few Useful Things to Know about Machine Leah 
ing” en Communications of the acm, vol. 55, núm. 10, 2012, p. 78, disponible 
en linea: <https://doi.org/10.1145/2347736.2347755>. R 

37 Maddox v. State, 32 Ga. 5S7, 79 Am. Dec. 307; Pierson v. State, 18 Tex. 

i 01. 
App. 55S, y Hinkle v. State, 94 Ga. 595, 21 S. E. 6 vi 
TL. os Tversky y Daniel Kahneman, “Judgment under Uncertainty: 


Heuristics and Biases”, en Science, vol. 185, 1974, pp. 1124-1131. 
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persona”3* Aqui el sesgo no es simplemente un tipo de error 
técnico; se abre a las creencias humanas, los estereotipos, las 
formas de discriminación. Esta confusión de definiciones limita 
la utilidad del “sesgo” como término, especialmente cuando lo 
usan quienes practican disciplinas distintas. 

Ciertamente, se pueden mejorar los diseños tééhicos para que 
den cuenta de las formas en que sus sistemas producen sesgos y 
resultados discriminatorios. Pero en el apuro por llegar a solucio- 
nes técnicas limitadas del sesgo estadístico, como si ese fuera un 
remedio suficiente para los problemas estructurales más profun- 
dos, por lo general, se pasan por alto las preguntas más difíciles 
sobre por qué los sistemas de 1a perpetúan la desigualdad. Ha 
habido un fracaso generalizado en el momento de abordar las 
maneras en que los instrumentos de conocimiento en la 1A refle- 
jan y sirven para incentivar una economía extractiva más amplia. 
Lo que subsiste es una asimetría permanente de poder, en la que 
los sistemas técnicos mantienen y amplían una desigualdad 
estructural, sin importar la intención de los diseñadores. 

Cada conjunto de datos usado para entrenar sistemas de 
aprendizaje automático, ya sea en el contexto del aprendizaje 
supervisado o no supervisado, ya sea considerado sesgado téc- 
nicamente o no, contiene una visión del mundo. Crear un con- 
junto de datos de entrenamiento es tomar un mundo casi infi- 
nitamente complejo y variado y arreglarlo en taxonomías que se 
componen de clasificaciones discretas de datos individuales, un 
proceso que requiere tomar decisiones en esencia políticas, cul- 
turales y sociales. Al prestar atención a estas clasificaciones, pode- 
mos vislumbrar las distintas formas de poder que están "et? 
das en las arquitecturas de la construcción de mundos de la 14, 


* Anthony G. Greenwald y Linda Hamilton Krieger, “Implicit Bias: Scien- 
tific Foundations”, en California Law Review, vol. 94, núm. 4, 2006, p. 951. 
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Los CONJUNTOS DE DATOS DE ENTRENAMIENTO 
COMO MÁQUINAS DE CLASIFICACIÓN: 
EL CASO DE IMAGENET 


En el último capítulo, nos enfocamos en la historia de ImageNet 


; e = 
y en que su conjunto de datos de entrenamiento se volvió a | 


referencia e influyó en la investigación de la visión artificial 

desde su creación en 2009. Al escudriñar más de cerca la estruc- 
tura de ImageNet, podemos alcanzar a ver la manera en que 
ese conjunto de datos está ordenado y cuál es su lógica subya- 
cente para cartografiar el mundo de los objetos. La estructura 
de ImageNet es laberíntica, inmensa y está llena de curiosidades. 
La estructura semántica subyacente fue importada de WordNet, 
una base de datos de clasificación de palabras que fue desarro- 
llada primero por el Cognitive Science Laboratory de la Prince- 
ton University en 1985 y financiada por la Office of Naval 
Research de Estados Unidos.*° WordNet se concibió como un 
diccionario legible por computadora, donde los usuarios harían 
sus búsquedas sobre la base de similitudes semánticas antes 
que alfabéticas. Se volvió una fuente vital para los campos de 
la lingüística computacional y.el procesamiento del lenguaje 
natural. El equipo de WordNetrecolectó tantas palabras cq(1) 
pudo, empezando con el Brown Corpus, una colección de un 
millón de palabras compiladas en la década de 1960." Las pa- 
labras del Brown Corpus provenían de periódicos y de una 
desaliñada colección de libros con títulos como New Methods 


40 Christiane Fellbaum (ed.), WordNet. An Electronic Lexical Database, 
Cambridge, MIT Press, 1998, p. 18. A continuación me baso en una investi- 
gación sobre ImageNet realizada con Trevor Paglen. Véase Kate Crawford 
y Trevor Paglen, “Excavating at: The Politics of Images in Machine Learning 
Training Sets”, en ar and Society, s. d., 2020. 

4l Ibid, p. 19. 
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of Parapsychology, The Family Fallout Shelter y Who Rules the 
Marriage Bed?4? 

WordNet intenta organizar toda la lengua inglesa en con- 
juntos de sinónimos, también llamados synsets [por su acrónimo 
en inglés]. Los investigadores de ImageNet eligieron usar única 
y exclusivamente sustantivos, siguiendo la idea de que se trata 
de cosas que se pueden representar con imágenes y que 
bastaría para entrenar a las máquinas para reconocer objetos 
automáticamente. Por eso, la taxonomía de ImageNet se orga- 
niza de acuerdo con una jerarquía anidada derivada de Word- 
Net, en la que cada synsetrepresenta un concepto distinto, con 
los sinónimos agrupados entre sí (“auto” y “carro”, en ese sen- 
tido, se tratan como pertenecientes a un mismo conjunto). La 
jerarquía avanza desde los conceptos más generales a otros 
más específicos. Por ejemplo, el concepto “silla” se encuentra 
dentro de artefacto > moblaje > mueble > asiento — silla. 
Como era de esperar, este sistema de clasificación evoca muchos 
rangos taxonómicos anteriores, desde el sistema linneano de 
clasificación biológica hasta la disposición de los libros en las 
bibliotecas. 

Pero la primera indicación de lo extraña que resulta la 
cosmovisión de ImageNet son sus nueve categorías superiores, 
que sacó de WordNet: planta, formación geológica, objeto Deel 
ral, deporte, artefacto, hongo, persona, animal y misceláneo. 
Estas son las curiosas categorías a partir de las cuales se organiza 
absolutamente todo. De estas nueve surgen miles de extrañas 
y específicas clases anidadas, en las que se albergan millones 
de imágenes, como muñecas rusas. Hay categorías para man- 


# Francis W. Nelson y Henry Kucera, Brown Corpus Manual. Manual of 
Information to Accompany a Standard Corpus of Present-Day Edited Ameri- 
can English for Use with Digital Computers, Providence, Brown University, 
1979, disponible en línea: <http://icame.uib.no/brown/bem html. 


210 ATLAS DE INTELIGENCIA ARTIFICIAL 


zanas, puré de manzana, empanadas de manzana, geranios de 
manzana, mermelada de manzana, jugo de manzana, gusanos 
de la manzana, óxido de manzana, árboles de manzana, pastel 
de manzana, carritos de manzana y compota de manzana, Hay 
imágenes de líneas directas, líneas del metro, líneas del tiempo, 
líneas fronterizas, líneas paralelas, líneas aerodinámicas, líneas 
de dirección, líneas de cartones de bingo, líneas telegráficas, 
líneas ofensivas, líneas viudas y líneas transversales. Es un mo- 
tín de palabras, ordenadas en extrañas categorías, como las de 
la mítica enciclopedia de Jorge Luis Borges. A nivel de imá- 
genes parece una locura. Algunas de las imágenes son fotogra- 
fías de archivo de alta resolución, otras se ven borrosas, toma- 
das con un teléfono y poca luz. Otros son fotogramas de 
pornografía. Algunas son caricaturas. Hay pin-ups, iconos reli- 
giosos, políticos famosos, celebridades de Hollywood y come- 
diantes italianos. Bruscamente se pasa de lo profesional a lo ama- 
teur, de lo sagrado a lo profano. 
Las clasificaciones humanas son un buen lugar para ver esta 
política de clasificación en funcionamiento. En ImageNet, la 
el categoría “cuerpo humano” cae dentro de la rama objeto natu- 
ral > cuerpo — cuerpo humano. Sus subcategorías incluyen 
“cuerpo masculino”, “persona”, “Cuerpo juvenil”, “cuerpo adulto 
y “cuerpo femenino”. La categoría “cuerpo adulto” contiene las 
subclases “cuerpo adulto femenino" y “cuerpo adulto masculina d 
Hay aquí una suposición implícita de que solo los Kapen mas: 
culinos” y “femeninos” se reconocen como “naturales g Este 
una categoría de ImageNet para el término “hermafrodita ', pero 
está situada dentro de la rama persona => sensualista > bisexual, 


j E ilki i ” en Borges. Selec 
43Jorge Luis Borges, ‘John Wilkins’ Analytical Language”, en J 
ted a ed. de Eliot Weinberger, Nueva York, Penguin, SE 
orig- “El idioma analítico de John Wilkins”, en Otras inquisiciones, Ma 
Alianza, 2008]. 
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junto con las categorías “pseudohermafrodita’ y “juega para los 
dos equipos”. 

Incluso antes de mirar las categorías más controversiales 
dentro de ImageNet, podemos ver la política de este esquema 
clasificatorio. Las decisiones para clasificar el género de 
manera también lo naturalizan como una construcción Me) 
gica binaria y, por lo tanto, las personas transgénero o no bi- 
narias no existen o bien están colocadas bajo categorías de 
sexualidad.* Por supuesto, este no es un método nuevo. La 
jerarquía de clasificación de género y sexualidad en ImageNet 
recuerda formas anteriores dañinas de categorización, como 
la clasificación de la homosexualidad como trastorno mental 
en el Manual diagnóstico y estadístico de los transtornos men- 
tales.46 Esta categorización profundamente dañina se utilizó 
como justificación para someter a las personas a supuestas 
terapias represivas y pasaron años de intenso activismo antes 
de que la Asociación Estadounidense de Psiquiatría la elimi- 
nara, en 1973.4 

Reducir a los seres humanos a categorías de género binaria: 
y retratar a las personas transgénero como invisibles o “des 
das” son características comunes de los esquemas de clasifica- 
ción en el aprendizaje automático. Un estudio de la detección 
automática de género en el reconocimiento facial, llevado a cabo 


44 Estas son algunas de las categorías que, ala fecha, 1° de octubre de 2020, 
han sido eliminadas por completo de ImageNet. 

15 Véase Os Keyes, “The Misgendering Machines: Trans/Hct Implications 
of Automatic Gender Recognition”, en Proceedings of the acm on Human- 
Computer Interaction, vol. 2, núm. cscw, art. 88, 2018, disponible en línea: 
<https://doi.org/10.1145/3274357>. 

“Jack Drescher, “Out of sm: Depathologizing Homosexuality”, en Behav- 
ioral Sciences, vol. 5, núm. 4, 2015, pp. 565-575, disponible en línea: <https:// 
doi.org/10.3390/bs5040565>. 

Y Véase Ronald Bayer, Homosexuality and American Psychiatry. The Poli- 
tics of Diagnosis, Princeton, Princeton University Press, 1987. 
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por Os Keyes, demostró que casi el 95% de los artículos en la 
materia tratan el género como binario, la mayoría lo describe 
como inmutable y fisiológico.*8 Si bien habrá quienes digan 

que esto se puede remediar fácilmente creando más categorías, 

ello no abordaría el daño más profundo que se crea cuando se 

les asigna a las personas categorías de género o raza sin su 

participación o consentimiento. Esta práctica también es de 

larga data. Durante siglos, los sistemas administrativos han 

buscado que los seres humanos sean legibles, y les han aplicado 

etiquetas fijas y propiedades definidas. El trabajo de fijar ele- 

mentos esenciales y ordenar sobre la base de la biología o la cul- 

tura se ha usado largamente para justificar formas de violencia 
y opresión. 

Mientras que estas lógicas de clasificación se tratan como 
si fueran naturales y fijas, en realidad, son objetivos en mo- 
vimiento: no solo afectan a quienes son clasificados, sino que la 
misma manera en que impactan a las personas cambia a su vez 
las clasificaciones. En la piratería informática esto se llama “efecto 
bucle”, que se produce cuando las ciencias se dedican a “inven- 
tar personas". Bowker y Star también subrayan que, una vez 
que se construyen clasificaciones de personas, estas pueden 
estabilizar una categoría política controvertida de formas que 
son difíciles de reconocer. Se las da por sentado, a menos que 
se las resista activamente. Vemos este fenómeno en el campo de 
la 1a cuando infraestructuras y conjuntos de datos de entrena- 
miento muy influyentes se ven como meramente técni 
cuando en realidad contienen intervenciones políticas de 
de sus taxonomías: naturalizan un ordenamiento particular del 


48 Véase Os Keyes, op. cit. : 

49 Tan Hacking, “Making Up People”, en London Review of Books, 17 de 
agosto de 2006, p. 23. : 

50 Geoffrey C. Bowker y Susan Leigh Star, op. cit, p. 196. 
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mundo que produce efectos que parecen justificar ese ordena- 
miento original. 


EL PODER DE DEFINIR A UNA “PERSONA” 
a 
Imponerle un orden a una masa indiferenciada, adscribir fenó- 
menos a una categoria (es decir, nombrar una cosa) es a su Ve 
una manera de cosificar la existencia de esa categoría. 

En el caso de las 21.841 categorías que estaban original- 
mente en la jerarquía de ImageNet, las clases de sustantivos 
como “manzana” o “puré de manzana” pueden parecer bastante 
indiscutibles, pero no todos los sustantivos se crean de igual 
manera. Para adoptar una idea del lingüista George Lakoff, el 
concepto de una “manzana” es un sustantivo más sustantivesco 
que el concepto de “luz”, que a su vez es más sustantivesco que 
un concepto como “salud”.*! Los sustantivos ocupan distintos 
lugares en un eje que va de lo concreto a lo abstracto, de lo des- 
criptivo a lo crítico. Estas gradientes han sido eliminadas de la 
lógica de ImageNet. Todo ha sido achatado y fijado en una eti- 
queta, como hace la taxidermia con las mariposas en una vitrina. 
Si bien este método tiene apariencia de objetividad, es, sin em- 
bargo, un ejercicio profundamente ideológico. 

Durante una década, ImageNet contuvo 2.832 subcategorías 
bajo la categoría principal “persona”. La subcategoría con más 
imágenes asociadas era “muchacha” (con 1.664 imágenes), 
seguida por “abuelo” (1.662), “papá” (1.643) y “director ejecutivo” 
(1.614, la mayoría hombres). Con estas categorías muy pobladas, 
ya podemos empezar a hacernos una idea de los contornos de 


5 Esto proviene de George Lakoff, Women, Fire, and Dangerous Things. What 
Categories Reveal about the Mind, Chicago, University of Chicago Press, 1987. 


E 


214 ATLAS DE INTELIGENCIA ARTIFICIAL 


su cosmovisión. ImageNet contiene una profusión de categorías 
clasificatorias, incluidas algunas para raza, edad, nacionalidad, 
profesión, estatus económico, comportamiento, personalidad e, 
incluso, moralidad. 

Existen muchos problemas con la manera en que la taxono- 
mía de ImageNet pretende clasificar las fotos de las personas bajo 
la lógica del reconocimiento de objetos. A pesar de que sus crea- 
dores eliminaron algunos synsets explícitamente ofensivos en 
2009, las categorías para las identidades raciales y nacionales 
permanecieron, incluidas las de nativo de Alaska, angloameri- 
cano, negro, negro africano, mujer negra (pero no mujer blanca), 
latinoamericano, mexicoamericano, nicaragúense, pakistaní, in- 
dio sudamericano, hispanoamericano, texano, uzbeko, blanco 
y zulú. Presentarlas como categorías lógicas para clasificar per- 
sonas ya es problemático, incluso antes de ser usadas para cla- 
sificar personas basándose en su apariencia. Otras se etiquetan 
según sus profesiones o pasatiempos: hay boy scouts, porristas, 
neurocientíficos cognitivos, peluqueros, analistas de inteligencia, 
mitólogos, vendedores minoristas, jubilados, etc. La existencia 

de estas categorías sugiere que las personas pueden ser clasifi- 
cadas visualmente de acuerdo con su profesión, de una manera 
que parece evocar libros infantiles como What do People do all 
Dau? de Richard Scarry. ImageNet también contiene categorías 
que no tienen sentido para la clasificación de imágenes, como 
deudor, jefe, conocido, hermano y daltónico. Son todos concep- 
tos no visuales que describen relaciones, bien con otras personas, 
bien con sistemas financieros o con el campo visual mismo. El 
conjunto de datos cosifica estas categorías y las conecta con 
imágenes, de modo que imágenes similares puedan ser “reco- 
nocidas” por sistemas futuros. 

Muchas categorías verdaderamente ofensivas y dañinas se 
escondían en las profundidades de las subcategorías de persona 
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de ImageNet. Algunas clasificaciones eran misóginas, racistas 
y discriminatorias por edad o discapacidad. La lista incluye 
mala persona, prostituta, maricón de clóset, vejestorio, convicto, 
loco, tirador, drogadicto, adicto, malogrado, fracasado, hijo de 
puta, hipócrita, Jezabel, cleptómano, perdedor, melancólico, 
inexistente, pervertido, diva, esquizofrénico, desegunda, zorra, 
espástico, solterona, mujer de la calle, semental, pendejo, inex- 
perto, calentón, indeciso y pobre diablo. Abundan los insultos, 
los epítetos racistas y los juicios morales. 

Estos términos ofensivos permanecieron en ImageNet 
durante diez años. Debido a que ImageNet se usaba por lo gene- 
ral para el reconocimiento de objetos (con una definición de 
“objeto” muy amplia), la categoría específica de persona rara vez 
se discutía en conferencias técnicas, ni recibió tampoco mucha 
atención del público, hasta que el proyecto ImageNet Roulette 
se hizo viral en 2019: liderado por el artista Trevor Paglen, el 
proyecto incluía una aplicación que permitía a las personas subir 
imágenes para ver cómo serían clasificadas de acuerdo con las 
categorías de persona de ImageNet.5 Esto generó mucha aten- 
ción por parte de los medios sobre la inclusión de larga data de 
términos racistas y sexistas en la influyente colección. Los crea- 


*?ImageNet Roulette fue resultado de una colaboración de investigación 
de varios años entre el artista Trevor Paglen y yo, en la que estudiamos la 
lógica subyacente a múltiples conjuntos de datos de entrenamiento de refe- 
rencia en la 1a. ImageNet Roulette, dirigida por Paglen y producido por Leif 
Ryge, era una aplicación que permitía a las personas interactuar con una 
red neuronal entrenada en la categoría “persona” de ImageNet. La gente 
podía subir imágenes de sí mismos, o imágenes de noticias o fotografías 
históricas, para ver cómo las etiquetaría ImageNet. La gente también podía 
ver cuántas de las etiquetas eran extrañas, racistas, misóginas y problemá- 
ticas. La aplicación fue diseñada para mostrar la existencia de estas preocu- 
pantes etiquetas, después de haber advertido de sus potenciales resultados. 
Todos los datos de las imágenes cargadas se eliminaron inmediatamente 
durante el procesamiento. Véase Kate Crawford y Trevor Paglen, op. cit. 
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dores de ImageNet publicaron un artículo poco tiempo después, 
titulado “Hacia conjuntos de datos más justos”, que buscaba 
“eliminar synsets inseguros”. Le pidieron a 12 estudiantes de 
posgrado que marcaran cualquier categoría que pareciera peli- 
grosa, ya fuera porque fuera “en esencia ofensiva” (por ejemplo, 
si contenía insultos) o “sensible” (términos que no eran ofensi- 
vos en esencia, pero que “podían ofender al ser usados de forma 
inapropiada, como la clasificación de personas basada en su 
orientación sexual o religión”).5? Si bien este proyecto buscaba 
evaluar el carácter ofensivo de las categorías de ImageNet pre- 
guntándolo a estudiantes de postgrado, los autores, sin embargo, 
seguían apoyando la clasificación automática de personas 
basada en fotografías, a pesar de los evidentes problemas de 
este método. 

Al final, el equipo de ImageNet eliminó 1.593 de las 2.832 
subcategorías que estaban en la categoría persona (casi el 56%), 
por considerarlas “peligrosas”, junto con sus 600.040 imágenes 
asociadas. El medio millón de imágenes restantes fueron “pro- 
visoriamente consideradas seguras”.51 Pero ¿qué se considera 
seguro cuando se trata de clasificar personas? Enfocarse en las 
categorías malignas no es un error, pero evita abordar pregun- 
tas más amplias sobre el funcionamiento del sistema en su tota- 
lidad. Toda la taxonomía de ImageNet revela las complejidades 
y los peligros de la clasificación humana. Mientras términos 
como “microeconomista” o “basquetbolista” pueden, en princi- 
pio, parecer menos preocupantes que el uso de etiquetas como 


53 Kaiyu Yang et al, “Towards Fairer Datasets: Filtering and Balancing the 
Distribution of the People Subtree in the ImageNet Hierarchy’, en sat" 20. 
Proceedings of the 2020 Conference on Fairness, Accountability, and Trans- 
parency, Nueva York, acm Press, 2020, pp. 547-558, § 4.2, disponible en linea: 
<https://dLacm.org/doi/proceedings/10.1145/3351095>. 

5 Ibid, 8 4.3. 
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“espástico”, “inexperto”, “mulato”, “pueblerino”, cuando vemos a 
las personas que han sido etiquetadas en estas categorías vemos 
que entran en juego muchas suposiciones y estereotipos que 
incluyen raza, género, edad y capacidades. En la metafísica de 
ImageNet hay categorías de imágenes distintas para “profesor 
asistente” y “profesor titular”, como si, cada wez que alguien 
obtuviera un ascenso, su perfil biométrico reflejara ese cambio 
de rango. 

De hecho, no hay categorías neutrales en ImageNet, porque 
la selección de imágenes siempre interactúa con el significado 
de las palabras. Hay políticas integradas en la lógica de clasifi- 
cación, incluso cuando las palabras no son ofensivas. ImageNet 
es una enseñanza, en ese sentido, sobre lo que pasa cuando se 
categoriza a las personas como objetos. Pero esta práctica ape- 
nas se ha vuelto común en años recientes, por lo general dentro 
de las compañías de tecnología. Los esquemas de clasificación 
usados en compañías como Facebook son mucho más difíciles 
de investigar y criticar: los sistemas de propiedad exclusiva ofre- 
cen menos oportunidades de que alguien externo investigue o 
audite la manera en que se ordenan o interpretan las imágenes. 

Después está el problema de la procedencia de las imágenes 
de la subcategoría persona de ImageNet. Como vimos en el 
capítulo anterior, los creadores de ImageNet recolectaron imá- 
genes en masa de buscadores como Google, extrajeron las sel- 
fis y las fotos de las vacaciones de personas sin que estas lo 
supieran y, después, les pagaron a trabajadores de Mechanical 
Turk para que las etiquetaran y reagruparan. Por lo tanto, todos 
los sesgos presentes en los resultados que entregaron los moto- 
res de búsqueda se encuentran en la base de los subsecuentes 
sistemas técnicos que los volvieron a etiquetar. A los trabaja- 
dores mal remunerados del crowdsourcing se les dio la tarea 
imposible de encontrarle sentido a estas imágenes, a una velo- 
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cidad de cincuenta por minuto, y colocarlas en categorías basa- 
das en los sysnets de WordNet y definiciones de Wikipedia.55 
Quizá no sea de extrañar que, al investigar la capa fundamental 
de estas imágenes etiquetadas, nos encontremos con que están 
plagadas de estereotipos, errores y absurdos. Una mujer recostada 
sobre una toalla de playa es una “cleptómana”, un adolescente 
con una camiseta deportiva está etiquetado como “perdedor” y 
una imagen de la actriz Sigourney Weaver aparece clasificada 
como “hermafrodita”. 

Las imágenes, como todos los tipos de datos, están cargadas 
con todo tipo de significados potenciales, preguntas sin respuesta 
y contradicciones. Al tratar de resolver estas ambigiiedades, las 
etiquetas de ImageNet comprimen y simplifican la complejidad. 
Focalizarse en hacer conjuntos de datos de entrenamiento “más 
justos” borrando términos ofensivos no consigue lidiar con la 
dinámica de poder de la clasificación e impide una evaluación 
más detallada de la lógica subyacente. Incluso si los peores ejem- 
plos se arreglan, el método sigue construido fundamentalmente 
sobre una relación con los datos de naturaleza extractiva, ale- 
jada de la gente y de los lugares de donde se los sacó. Luego, se 
representa a través de una visión del mundo técnica que busca 
fusionar materiales culturales complejos y variados para crear 
una forma de objetividad singular. La cosmovisión de ImageNet 
no es infrecuente en ese sentido. De hecho, es la más típica en 
los muchos conjuntos de datos de entrenamiento y revela mu- 
chos de los problemas de los esquemas descendentes, que acha- 
tan las complejas relaciones sociales, culturales, políticas e his- 
tóricas hasta volverlas entidades cuantificables. Este fenómeno 


55 John Markoff, “Seeking a Better Way to Find Web Images”, en The New 
York Times, 19 de noviembre de 2012, disponible en línea: <https://www. 
nytimes.com/2012/11/20/science/for-web-images-creating-new-technology- 
to-seek-and-find.htmb>. 
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quizá resulta más obvio e insidioso cuando se trata de los esfuer- 
zos generalizados por clasificar a las personas según su raza y 
género en los sistemas técnicos. 


CONSTRUIR RAZA Y GÉNERO 


Si nos enfocamos en la clasificación en la 14, podemos rastrear 
las maneras en que se asume, erróneamente, que el género, la 
raza y la sexualidad son categorías naturales, fijas y detectables 
biológicamente. La experta en vigilancia Simone Browne señala 
que “cuando se trata de estas tecnologías, existe cierta presun- 
ción de que las categorías de identidad de género y raza están 
bien definidas, que una máquina puede programarse para asig- 
nar categorías de género o determinar qué cuerpos o partes del 
cuerpo deberían significar”.36 Efectivamente, la idea de que la 
raza y el género pueden detectarse automáticamente en el apren- 
dizaje automático se toma como si fuera un hecho asumido, 
rara vez cuestionado por las disciplinas técnicas, a pesar de los 
profundos problemas políticos que esto presenta.*” 

El conjunto de datos urKFace (producido por un grupo de 
la University of Tennessee en Knoxville), por ejemplo, consiste 
en más de veinte mil imágenes de rostros con anotaciones sobre 
la edad, el género y la raza.58 Los autores del conjunto de datos 
declaran que puede usarse para una variedad de tareas, inclui- 


56 Simone Browne, Dark Matters. On the Surveillance of Blackness, Durham, 
Duke University Press, 2015, p. 114. 

5? Morgan Klaus Scheuerman et al, “How We've Taught Algorithms to See 
Identity: Constructing Race and Gender in Image Databases for Facial Analy- 
sis’, en Proceedings of the acm on Human-Computer Interaction, vol. 4, núm. 
cscw1, 2020, pp. 1-35, disponible en línea: <https://doi.org/10.1145/3392866>. 

58 uTKFace Large Scale Face Dataset, disponible en línea: <https://susanqq. 
github.io/UTKFace>. 
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das la detección facial automática, la estimación de edad y la 
progresión de edad. Las anotaciones para cada imagen incluyen 
una edad estimada para cada persona, expresada en años que 
van del 0 al 116. El género es un binario forzado: un cero para 
los hombres o un wo para las mujeres. En segundo lugar, la 
raza se categoriza en cinco clases: blanca, negra, asiática, india 
y otras. Las políticas de género y raza aquí son tan obvias como 
dañinas. Y, sin embargo, este tipo de categorizaciones peligro- 
samente reductivas son muy utilizadas en muchos conjuntos 
de datos de entrenamiento de clasificación de humanos y han 
sido parte de los conductos de producción de 1a durante años. 

El limitado esquema clasificatorio de UTKFace replica las 
problemáticas clasificaciones raciales del siglo xx, como el sis- 
tema de apartheid de Sudáfrica. Como han detallado Bowker y 
Star, el gobierno sudafricano aprobó una legislación en los años 
cincuenta que creaba un burdo esquema de clasificación racial 
para dividir a los ciudadanos bajo las categorías de “europeos, 
asiáticos, personas de raza mixta o de color y ‘nativos’ o indivi- 
duos de sangre pura de la raza bantú”.5? Este régimen legal 
racista rigió las vidas de las personas, sobre todo la de los suda- 
fricanos negros, cuyos movimientos estaban completamente 
restringidos, además de haber sido expulsados a la fuerza de 
sus tierras. Las políticas de la clasificación racial se extendieron 
hasta las esferas más íntimas. La sexualidad interracial estaba 
prohibida, lo que condujo a más de once mil quinientas conde- 
nas para el año 1980, en su mayoría de mujeres que no eran 
blancas. La compleja base de datos centralizada para estas 
clasificaciones había sido diseñada y era mantenida por IBM, 
pero la compañía a menudo tenía que reajustar el sistema y vol- 


59 Geoffrey C. Bowker y Susan Leigh Star, op. cit, p. 197. 
$0 Ibid, p. 198. 
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ver a clasificar a las personas, porque en la práctica no había 
ninguna categoría racial pura.®! 

Sobre todo, estos sistemas de clasificación han causado enor- 
mes daños a las personas, y el concepto de un significante de 
raza “pura” siempre ha estado en disputa. En sus escritos sobre 
la raza, Donna Haraway señala lo siguiente: e 


En estas taxonomias, que son, después de todo, pequeñas máqui- 
nas para clarificar y separar categorías, la entidad que siempre 
eludió al clasificador era simple: la raza misma. El tipo puro, que 
animaba sueños, ciencias y terrores, seguía escabulléndose y 
multiplicando sin parar todas las taxonomías tipolégicas. 


Y, sin embargo, en las taxonomías de las bases de datos, y en 
los sistemas de aprendizaje automático que se entrenan con 
ellas, el mito del tipo puro ha surgido de nuevo, adjudicándose 
la autoridad de la ciencia. En un artículo sobre los peligros del 
reconocimiento facial, el experto en medios de comunicación 
Luke Stark menciona que, “al introducir una variedad de lógicas 
de clasificación que o bien cosifican categorías raciales existen- 
tes, o bien producen nuevas, la lógica de la generación automá- 
tica de patrones de los sistemas de reconocimiento facial repro- 
duce la desigualdad sistémica a la vez que la exacerba”.63 


$! Paul N. Edwards y Gabrielle Hecht, “History and the Technopolitics of 
Identity: The Case of Apartheid South Africa”, en Journal of Southern African 
Studies, vol. 36, núm. 3, 2010, p. 627, disponible en línea: <https://doi.org/ 
10.1080/03057070.2010.507568>. 

$2 Donna J. Haraway, Modest_WitnessQSecond_Millennium. FemaleMan_ 
Meets_OncoMouse. Feminism and Technoscience, Nueva York, Routledge, 1997, 
p. 234. 

$3 Luke Stark, “Facial Recognition Is the Plutonium of Ar”, en ee Cross- 
roads, The acm Magazine for Students, vol. 25, núm. 3, 2019, p. 53, disponi- 
ble en línea: <https://doi.org/10.1145/3313129>. 
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Algunos métodos de aprendizaje automático van más allá 
de predecir la edad, el género y la raza. Ha habido intentos muy 
publicitados por detectar la sexualidad a partir de las fotografías 
de los sitios de citas y la criminalidad basándose en las fotogra- 
fías de licencias de conducir.* Estos métodos son profunda- 
mente problemáticos por muchas razones, partiendo de la base 
de que características como “criminalidad”, al igual que raza y 
género, son categorías profundamente relacionales y determi- 
nadas socialmente; no son características inherentes ni fijas, son 
contextuales y cambiantes según el tiempo y el lugar. Para hacer 
semejantes predicciones, los sistemas de aprendizaje automático 
están buscando clasificar cosas que son completamente relacio- 
nales dentro de categorías fijas, lo que a su vez es con razón cri- 
ticado como algo problemático científica. y éticamente.$5 

Los sistemas de aprendizaje automático están construyendo 
de una manera muy real la raza y el género: están definiendo el 
mundo dentro de los términos que ellos mismos han fijado, y 
esto tiene ramificaciones de largo alcance para las personas que 
han sido clasificadas. Cuando tales sistemas son aclamados como 
innovaciones científicas para predecir identidades y acciones 
futuras, esto borra las debilidades técnicas que hay detrás de la 
construcción de estos sistemas, las prioridades con base en las 


64 Siguiendo el orden de los ejemplos, véanse Yilun Wang y Michal Kosinski, 
“Deep Neural Networks Are More Accurate than Humans at Detecting Sexual 
Orientation from Facial Images”, en Journal of Personality and Social Psychol- 
ogy, vol. 114, núm. 2, 2018, pp. 246-257, disponible en línea: <https://doi. 
org/10.1037/pspa0000098>, Xiaolin Wu y Xi Zhang, “Automated Inference 
on Criminality Using Face Images”, en arXiv; 13 de noviembre de 2016, dis- 
ponible en línea: <https://arxiv.org/abs/1611.04135v1>, y Julia Angwin etal, 
“Machine Bias", op. cit. 

$5 Blaise Agúera y Arcas, Margaret Mitchell y Alexander Todorov, “Phys- 
iognomy’s New Clothes”, en Medium: Artificial Intelligence (blog), 7 de mayo 
de 2017, disponible en línea: <https://medium.com/@blaisea/physiognomys- 
new-clothes-f2d4b59fddéa>. 
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cuales se disefiaron y los muchos procesos politicos de catego- 
rización que les dan forma. Los especialistas en discapacidad 
han señalado durante mucho tiempo la forma en que se clasi- 
fican los llamados cuerpos normales, lo que ha funcionado para 
estigmatizar las diferencias. Como un informe señala, la his- 
toria de las discapacidades es en sí misma una4historia sobre las 
maneras en que muchos sistemas de clasificación (por ejemplo, 
el médico, el científico y el legal) interactúan con las institucio- 
nes sociales y sus articulaciones de poder y conocimiento”.5” En 
muchos niveles, el acto de definir categorías e ideas de norma- 
lidad crea un afuera: formas de anormalidad, diferencia y otre- 
dad. Los sistemas técnicos están haciendo intervenciones polí- 
ticas y normativas al ponerle nombres a algo tan dinámico y 
relacional como la identidad personal, y suelen hacerlo usando 
un conjunto reducido de posibilidades de lo que es ser humano. 
Eso restringe el rango de cómo se entiende a las personas y cómo 
pueden representarse a sí mismas, lo que reduce el horizonte 
de identidades reconocibles. 

Como señala lan Hacking, clasificar a las personas es un 
imperativo imperial: los imperios clasificaban a los sujetos 
cuando los conquistaban y, luego, las instituciones y los exper- 
tos los ordenaban en “un tipo de persona”.® Estos actos de nom- 
brar eran afirmaciones de poder y control colonial, y los efectos 
negativos de esas clasificaciones pueden durar incluso más que 


$6 Kim F. Nielsen, A Disability History of the United States, Boston, Beacon, 
2012; Alison Kafer, Feminist, Queer, Crip, Bloomington, Indiana University 
Press, 2013, y Tobin Siebers, Disability Theory, Ann Arbor, University of 
Michigan Press, 2008. 

$7 Meredith Whittaker et al, “Disability, Bias, and a1", en ar Now Institute, 
noviembre de 2019, disponible en linea: <https://ainowinstitute.org/dis- 
abilitybiasai-2019.pdt>. 

$8 Jan Hacking, “Kinds of People: Moving Targets", en Proceedings of the 
British Academy, vol. 151, 2007, p. 289. 
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los mismos imperios. Las clasificaciones son tecnologías que 
producen y limitan los tipos de conocimiento, y están integradas 
en la lógica de la 1a. 


Los LÍMITES DE LA MEDICIÓN 


Entonces, ¿qué se puede hacer? Si gran parte de los estratos 
clasificatorios de los datos de entrenamiento y los sistemas 
técnicos son formas de poder y política que se representan 
como mediciones objetivas, ¿cómo podríamos corregir esto? 
¿Cómo deberían dar cuenta los diseñadores de sistemas de, en 
algunos casos, la esclavitud, la opresión y cientos de años de 
discriminación en contra de algunos grupos para beneficiar a 
otros? En otras palabras, ¿cómo deberían representar lo social 
los sistemas de 1a? 

Decidir qué información alimenta los sistemas de 1a para 
producir nuevas clasificaciones es un momento poderoso de toma 
de decisiones, pero ¿quién toma esa decisión y con qué bases? El 
problema para la ciencia de la computación es que, en los sistemas 
de 1a, la justicia nunca será algo que se pueda codificar o com- 
putar. Se requiere de un desplazamiento hacia la evaluación de 
los sistemas más allá de las métricas de optimización y la paridad 
estadística, así como un entendimiento de dónde los marcos de 
las matemáticas y la ingeniería están causando los problemas. 
Esto también implica entender la manera en que los sistemas de 
1A interactúan con los datos, los trabajadores, el ambiente y los 
individuos cuyas vidas se verán afectadas por su uso, y decidir 
en qué casos no debería utilizarse la 1a. 

Bowker y Star concluyen que la mera densidad de las coli- 
siones de los esquemas de clasificación exige un nuevo tipo de 
método, una sensibilidad hacia la “topografía de cosas como la 
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distribución de la ambigiiedad; la dinámica fluida de cómo los 
sistemas de clasificación se encuentran... una placa tectónica 
más que una geología estática”. Pero también se requiere pres- 
tar atención a las asignaciones desiguales de las ventajas y el 
sufrimiento, ya que “la manera en que se toman estas decisiones 
y la forma de pensar acerca de ese proceso dé emparejamiento 
invisible son dos cosas que están en el núcleo del proyecto éti- 
co”.70 Las clasificaciones no consensuadas presentan serios ries- 
gos, al igual que los supuestos normativos sobre la identidad; 
y, sin embargo, estas prácticas se han vuelto algo estándar. Eso 
debe cambiar. 

En este capítulo, hemos visto que las infraestructuras clasi- 
ficatorias contienen lagunas y contradicciones: necesariamente 
reducen la complejidad y eliminan contextos significativos para 
hacer el mundo más computable. Pero también proliferan en 
plataformas de aprendizaje automático, en lo que Umberto Eco 
llamó “enumeración caótica”?! A un cierto nivel de granulari- 
dad, las cosas semejantes y diferentes se vuelven lo suficiente- 
mente proporcionales para que sus similitudes y diferencias sean 
legibles por computadora y, no obstante, sus características son 
inabarcables. En este caso, los problemas van más allá de si algo 
está mal o bien clasificado. Vemos giros extraños e impredecibles 
a medida que las categorías automáticas y las personas interac- 
túan y se alteran entre sí, mientras tratan de encontrar legibili- 
dad en un terreno cambiante para calzar en las categorías correc- 
tas y hacerse con las fuentes más lucrativas. En el escenario del 
aprendizaje automático, estas preguntas no son menos urgentes 


$9 Geoffrey C. Bowker y Susan Leigh Star, op. cit. p. 31. 

70 Ibid, p. 6. 

71 Umberto Eco, The Infinity of Lists. An Illustrated Essay, trad. de Alastair 
McEwen, Nueva York, Rizzoli, 2009 [trad. esp.: El vértigo de las listas, Barce- 
lona, Lumen, 2009]. 
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porque cueste verlas. Lo que está en juego no es tan solo una 
curiosidad histórica o la sensación extraña de estar frente a un 
desajuste entre los perfiles de contornos punteados que vislum- 
bramos en nuestras plataformas y feeds. Todas y cada una de 
estas clasificaciones traen consigo consecuencias. 

Las historias de la clasificación nos demuestran que las for- 
mas más dañinas de categorización humana (desde el sistema 
del apartheid hasta la patologización de la homosexualidad) no 
se desvanecieron simplemente bajo la luz de la investigación 
científica y la crítica ética. Más bien, el cambio también requirió 
de organización política, protestas continuadas y campañas pú- 
blicas que se prolongaron durante muchos años. Los esquemas 
clasificatorios promulgan y apoyan las estructuras de poder que 
les dieron forma y estas no cambian sin que haya considerables 
esfuerzos detrás. En palabras de Frederick Douglass: “El poder 
no concede nada si no se le exige. Nunca lo hizo y nunca lo 
hará”.?2 Dentro de los regímenes invisibles de clasificación del 
aprendizaje automático es más difícil exigir y oponerse a su 
lógica interna. 

Los conjuntos de datos de entrenamiento que se hacen 
públicos (como ImageNet, urKFace y pir) nos dan una idea de 
los tipos de categorizaciones que se:están propagando a través 
de los sistemas de 1a industriales y delas prácticas investigativas. 
Pero los motores verdaderamente másivos de clasificación son 
los que operan a escala global por medio de compañías tec- 
nológicas privadas, como Facebook, Google, TikTok y Baidu. La 
manera en que estas compañías categorizan y se dirigen a los 
usuarios no pasa por mucha supervisión y tampoco ofrece vías 


72 Frederick Douglass, “West India Emancipation”, discurso en Canandai- 
gua, Nueva York, 3 de agosto de 1857, disponible en linea: <https://rbscp. 
lib.rochester.edu/4398>. 
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significativas para el debate público. Cuando los procesos de 
emparejamiento de la 1a están realmente ocultos y se mantiene 
a la gente ignorante sobre por qué o cómo recibe formas de 
ventajas o desventajas, es necesaria una respuesta política colec- 
tiva... aun cuando esta se vuelve más difícil. 
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EN UN REMOTO puesto de avanzada de las zonas montañosas de 
Papúa Nueva Guinea, un joven psicólogo estadounidense lla- 
mado Paul Ekman llegó acompañado de una colección de tar- 
jetas y una nueva teoría.! Era el año 1967 y Ekman había escu- 
chado que el pueblo fore de Okapa estaba tan aislado del ancho 
mundo que pensó que eso los volvería sus sujetos de prueba 
ideales. Como muchos investigadores occidentales antes que él, 
Ekman había llegado a Papúa Nueva Guinea para recabar datos 
de la comunidad indígena. Reunía pruebas para reforzar una 
controvertida hipótesis: que todos los seres humanos exhiben 
un pequeño número de emociones o afectos que son naturales, 
innatos, transculturales e idénticos en todo el mundo. Aunque 
esa afirmación sigue siendo poco convincente, sus consecuencias 
han tenido un gran alcance: los presupuestos de Ekman sobre las 
emociones se han convertido en una industria creciente que 
vale más de 17.000 millones de dólares.? Esta es la historia de 


1 Agradecimientos especiales a Alex Campolo, mi asistente de investiga- 
ción e interlocutor en este capítulo, también por su investigación sobre 
Ekman y la historia de las emociones. 

2“Emotion Detection and Recognition (EDR) Market Size to Surpass 18%+ 
CAGR 2020 to 2027”, en MarketWatch, 5 de octubre de 2020, y Oscar Schwartz, 


231 


232 ATLAS DE INTELIGENCIA ARTIFICIAL 


cómo el reconocimiento emocional se volvió parte de la inteli- 
gencia artificial (1a) y los problemas que esto conlleva. 

En los trópicos de Okapa, guiado por el investigador mé- 
dico Daniel Carleton Gajdusek y el antropólogo E. Richard So- 
renson, Ekman esperaba conducir experimentos para evaluar 
la manera en que los fore reconocían emociones transmitidas 
por expresiones faciales. Puesto que los fore tenían un contacto 
mínimo con Occidente y los medios de comunicación, Ekman 
teorizaba que su reconocimiento y exhibición de expresiones 
básicas probaría que tales expresiones eran universales. Sus mé- 
todos eran simples: les mostraría tarjetas de expresiones facia- 
les y observaría si, al verlas, describían las emociones. En sus 
propias palabras: “Todo lo que estaba haciendo era mostrarles 
imágenes divertidas”? 

Pero Ekman no tenía ningún conocimiento de la historia, el 
lenguaje, la cultura y la política de los fore. Sus intentos por rea- 
lizar sus experimentos con tarjetas usando traductores fracasa- 
ron; él y sus sujetos quedaban agotados por el proceso, que 
describió como sacar dientes sin anestesia.* Ekman abandonó 
Papúa Nueva Guinea frustrado por este primer intento de inves- 
tigación transcultural sobre las expresiones emocionales. Pero 
esto solo sería el principio. 

Las herramientas de reconocimiento emocional actuales se 
pueden encontrar en los sistemas de seguridad nacionales y en 
los aeropuertos, en la educación y en startups para la contrata- 


“Don't Look Now: Why You Should Be Worried about Machines Reading Your 
Emotions”, en The Guardian, 6 de marzo de 2019. 

3 Miyoko Ohtake, “Psychologist Paul Ekman Delights at Exploratorium”, 
en Wired, 28 de enero de 2008, disponible en línea: <https://www.wired. 
com/2008/01/psychologist-pa/>. 

4Paul Ekman, Emotions Revealed. Recognizing Faces and Feelings to Im- 
prove Communication and Emotional Life, Nueva York, Times, 2003, p. 7. 
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ción de empleados, desde sistemas que pretenden detectar 
enfermedades psiquiátricas hasta programas de vigilancia que 
aseguran poder predecir la violencia. Si observamos la historia 
de cómo surgió la detección de emociones automática, podemos 
entender que sus métodos hayan planteado tanto preocupacio- 
nes éticas como dudas científicas. Como verentbs, la afirmación 
de que el estado interior emocional de alguien se puede evaluar 
con precisión analizando su rostro se basa en una evidencia 
inestable.5 De hecho, una revisión exhaustiva de la bibliografía 
científica disponible sobre la inferencia de emociones a partir 
de movimientos faciales, publicada en 2019, fue concluyente: 
no hay evidencia confiable de que puedes predecir con precisión 
el estado emocional de una persona a partir de su rostro. 

¿Cómo fue, entonces, que esta colección de afirmaciones y 
metodologías experimentales controvertidas se convirtió en el 
enfoque que impulsa muchas partes de la industria de la 1a 
emocional? ¿Por qué la idea de que hay un pequeño conjunto 
de emociones universales que pueden interpretarse fácilmente 
a partir del rostro se volvió tan aceptada en el campo de la 14, 
a pesar de la existencia de considerable evidencia que prueba 
lo contrario? Para entender eso, es necesario rastrear el desarro- 
llo de esas ideas, mucho antes de que las herramientas de reco- 
nocimiento emocional de la 1A fueran integradas a la infraes- 
tructura de la vida cotidiana. 


5Para una descripción general de los investigadores que han encontrado 
fallas en la afirmación de la universalidad de las expresiones emocionales y 
el que la 1a pueda predecirlas, véase Douglas Heaven, “Why Faces Don't Always 
Tell the Truth about Feelings”, en Nature, 26 de febrero de 2020, disponible 
en línea: <https://www.nature.com/articles/d4 1586-020-00507-5>. 

$Lisa Feldman Barrett et al, “Emotional Expressions Reconsidered: Chal- 
lenges to Inferring Emotion from Human Facial Movements’, en Psycholo- 
gical Science in the Public Interest, vol. 20, mim. 1, 2019, pp. 1-68, disponible 
en linea: <https://doi.org/10.1177/1529100619832930> 
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Ekman es solo una de las muchas personas que han contri- 
buido a las teorías detrás del reconocimiento emocional. Pero la 
rica y sorprendente historia de su investigación ilumina algunas 
de las complejas fuerzas que impulsan el campo. Su trabajo está 
conectado, en primer lugar, con la financiación, por parte de las 
agencias de inteligencia de Estados Unidos, de las ciencias huma- 
nas durante la Guerra Fría, pero también con el trabajo funda- 
mental en el campo de la visión artificial de los programas de 
seguridad posteriores al 11 de septiembre empleados para iden- 
tificar a los terroristas, y así hasta llegar a la moda actual del re- 
conocimiento emocional basado en la 1a. Esta es una crónica 
que combina ideologías, políticas económicas y otras basadas 
en el miedo, así como el deseo de extraer más información sobre 
las personas de la que ellas están dispuestas a dar. 


PROFETAS EMOCIONALES: CUANDO 
LOS SENTIMIENTOS CUESTAN DINERO 


Para los ejércitos, las corporaciones, las agencias de inteligencia 
y las fuerzas policiales del mundo, la idea del reconocimiento 
emocional automático es tan llamativa como lucrativa. Promete 
filtrar, de manera confiable, al amigo del enemigo, distinguir men- 
tiras de verdades y usar los instrumentos de la ciencia para aden- 
trarse en mundos interiores. 

Las compañías tecnológicas han capturado volúmenes inmen- 
sos de imágenes superficiales de expresiones humanas, incluidos 
miles de millones de selfis de Instagram, retratos de Pinterest, 
videos de TikTok y fotografías de Flickr. Una de las muchas cosas 
que la profusión de imágenes hizo posible fue el intento de extraer, 
usando el aprendizaje automático, la llamada verdad escondida 
de los estados emocionales interiores. El reconocimiento emocio- 


si 


LAS EMOCIONES 235 


nal se está integrando en muchas plataformas de reconocimiento 
facial, desde las compañías tecnológicas más grandes hasta las 
pequeñas startups. Mientras que el reconocimiento facial busca 
identificar a un individuo particular, la detección emocional 
apunta a detectar y clasificar emociones analizando cualquier 
rostro. Puede que estos sistemas no estén hatiendo lo que pre- 
tenden hacer, pero pueden ser agentes poderosos a la hora de 
influir comportamientos y entrenar personas para que se desem- 
peñen de maneras reconocibles. Estos sistemas ya están jugando 
un papel en delinear el comportamiento de las personas y la 
manera en que las instituciones sociales operan, a pesar de la falta 
de evidencia científica sustancial que diga que funcionan. 

Hoy en día se utilizan ampliamente los sistemas automati- 
zados de detección emocional, en especial en la contratación. 
Una startup de Londres llamada Human usa el reconocimiento 
emocional para analizar entrevistas filmadas de candidatos a 
puestos de trabajo. De acuerdo con un informe del Financial 
Times, “la compañía asegura que puede detectar las expresiones 
emocionales de los posibles candidatos y relacionarlas con ras- 
gos de personalidad”; la compañía luego puntúa a los sujetos 
en rasgos de personalidad como honestidad o pasión por el 
trabajo.” HireVue, la compañía de contratación por medio de 14, 
que tiene entre sus clientes a Goldman Sachs, Intel y Unilever, 
usa aprendizaje automático para evaluar pistas faciales que les 
permitan inferir la idoneidad de una persona para un trabajo. 
En el año 2014, la compañía lanzó su sistema de 1A para extraer 
microexpresiones, tonos de voz y otras variables a partir de 
entrevistas de trabajo filmadas, que usaron para comparar a los 


7 Patricia Nilsson, “How al Helps Recruiters Track Jobseekers’ Emotions”, 
en Financial Times, 28 de febrero de 2018, disponible en linea: <https:// 
www it.com/content/e2e85644-05be-1 1e8-9650-9c0ad2d7c5b5>. 
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candidatos con los trabajadores que tenían menor desempeño 
de la compañía. 

En enero de 2016, Apple compró la startup Emotient, que 
aseguraba haber producido un software capaz de detectar emo- 
ciones a partir de imágenes de rostros.” Emotient surgió de una 
investigación académica llevada a cabo en la University of Cali- 
fornia San Diego, y es una de las muchas startups que trabajan 
en esta Area 10 Quizá la más grande de todas es Affectiva, una 
compañía con sede en Boston que emergió del trabajo académico 
realizado en el Massachusetts Institute of Technology (MIT). Aquí, 
Rosalind Picard y sus colegas formaban parte de un campo emer- 
gente más amplio, llamado computación afectiva, que describe 
la computación que “se relaciona con, surge de o influye deli- 
beradamente en las emociones y otros fenómenos afectivos”.!! 

Affectiva codifica una variedad de aplicaciones relacionadas 
con las emociones, usando principalmente técnicas de aprendizaje 
profundo, que van desde detectar a conductores distraídos o 
“arriesgados” en las carreteras hasta medir las respuestas emocio- 


8Javier Sánchez-Monedero y Lina Dencik, “The Datafication of the Workplace’, 
documento de trabajo, Data Justice Lab, Cardiff University, 9 de mayo de 2019, 
p. 48, disponible en linea: <https://datajusticeproject.net/wp-content/uploads/ 
sites/30/2019/05/Report-The-datafication-of-the-workplace.pdf>, y Drew 
Harwell, “A Face-Scanning Algorithm Increasingly Decides Whether You Deserve 
the Job”, en The Washington Post,7 de noviembre de 2019, disponible en línea: 
<https://www.washingtonpost.com/technology/2019/10/22/ai-hiring-face- 
scanning-algorithm-increasingly-decides-whether-you-deserve-job/>. 

9 Sam Byford, “Apple Buys Emotient, a Company That Uses Al to Read 
Emotions’, en The Verge, 7 de enero de 2016, disponible en linea: <https://www. 
theverge.com/2016/1/7/10731232/apple-emotient-ai-startup-acquisition>. 

10Phillip Molnar, Gary Robbins y David Pierson, “Cutting Edge: Apple's 
Purchase of Emotient Fuels Artificial Intelligence Boom in Silicon Valley’, 
en Los Angeles Times, 17 de enero de 2016, disponible en línea: <https:// 
www.latimes.com/business/technology/la-fi-cutting-edge-facial-recognition- 
20160117-story.html>. 

1 Rosalind Picard, “Affective Computing Group’, en MIT Media Lab, dis- 
ponible en línea: <https://affect.media.mit.edu/>. 
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nales de los consumidores frente a la publicidad. La compañía ha 
construido lo que llama la base de datos de emociones más grande 
del mundo, que consiste en más de diez millones de expresiones de 
personas de 87 paises.'? Trabajadores de crowdsourcing la mayo- 
ría desde El Cairo, etiquetaron a mano su monumental colección 
de videos de personas exteriorizando sus enfbciones.!* Muchas 
otras compafifas han comprado los derechos de los productos de 
Affectiva para desarrollar de todo, desde aplicaciones para evaluar 
candidatos para puestos de trabajo hasta otras que analizan si los 
estudiantes están prestando atención en clases; todo esto captu- 
rando y analizando sus expresiones faciales y lenguaje corporal.!* 

Más allá del sector de las startups, todos los gigantes de la 
Ia, como Amazon, Microsoft e IBM, tienen sus propios sistemas 
diseñados para detectar emociones y afectos. Microsoft ofrece 
una detección emocional en su Face API que asegura poder de- 
tectar lo que un individuo está sintiendo entre un rango de emo- 
ciones que va de “ira, desprecio, asco, miedo, felicidad, neutra- 
lidad, tristeza y sorpresa”, y afirma que “estas emociones son 
entendidas como transculturales y se comunican universalmente 
con expresiones faciales particulares”.!* De forma similar, la he- 
rramienta Rekognition de Amazon asegura que puede identificar 
“todas las siete emociones” y “medir cómo estas cosas pueden 
cambiar en el tiempo, una especie de línea temporal de las emo- 
ciones de un actor”.16 


12“Affectiva Human Perception al Analyzes Complex Human States”, en 
Affectiva, disponible en linea: <https://www.affectiva.com/>. 

13 Oscar Schwartz, op. cit. 

14 Véase, por ejemplo, Patricia Nilsson, op. cit. 

15 “Face: An al Service That Analyzes Faces in Images”, en Microsoft Azure, 
disponible en línea: <https://azure.microsoft.com/en-us/services/cognitive- 
services/face/>. 

Io "Amazon Rekognition Improves Face Analysis”, en Amazon Web Ser- 
vices, 12 de agosto de 2019, disponible en línea: <https://aws.amazon.com/ 
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Pero ¿cómo funcionan estas tecnologías? Los sistemas de 
reconocimiento emocional crecieron en los intersticios entre 
tecnologías de 1a, las prioridades militares y las ciencias del 
comportamiento (la psicología en particular). Comparten un 
conjunto similar de cianotipos y suposiciones fundacionales: 
que hay un pequeño número de categorías emocionales distin- 
tas y universales, que revelamos esas emociones de forma invo- 
luntaria en nuestros rostros y que las máquinas las pueden 
detectar. Estos artículos de fe son tan aceptados en algunos 
campos que puede incluso parecer raro prestarles atención, y 
todavía más cuestionarlos; están tan integrados que han venido 
a constituir “el punto de vista común".17 Pero si vemos cómo se 
llegó a taxonomizar las emociones (ordenadas y etiquetadas 
cuidadosamente), veremos que van surgiendo preguntas a cada 
paso. Y una de las figuras destacadas detrás de este método es 
la de Paul Ekman. 


“EL LECTOR DE ROSTROS MÁS FAMOSO 
DEL MUNDO” 


La investigación de Ekman comeñzó con un afortunado en- 
cuentro con Silvan Tomkins, por entonces reconocido psicólogo 
con base en Princeton que había publicado en 1962 el primer 
volumen de su magnum opus, Affect Imagery Consciousness! 


about-aws/whats-new/2019/08/amazon-rekognition-improves-face-analy- 
sis/>, y “Amazon Rekognition - Video and Image - aws’, en Amazon Web Ser- 
vices, disponible en línea: <https://aws.amazon.com/rekognition/>. 

17 Lisa Feldman Barrett et al, op. cit, p. 1. 

18 Eve Kosofsky Sedgwick, Adam Frank e Irving Alexander (eds.), Shame 
and Its Sisters. A Silvan Tomkins Reader, Durham, Duke University Press, 
1995, p. 258. 
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El trabajo de Tomkins con las emociones tuvo una gran influen- 
cia en Ekman, que dedicó gran parte de su carrera a estudiar 
sus implicaciones. Un aspecto en particular cumplió un papel 
descomunal: la idea de que, si las emociones eran un conjunto 
innato de respuestas evolutivas, estas serían universales y, por 
lo tanto, reconocibles a través de las cultufas. Este deseo de 
universalidad resulta muy relevante a la hora de entender por 
qué estas teorías se aplican ampliamente en los sistemas de 
reconocimiento emocional de la 1a hoy en día: ofrecía un 
pequeño conjunto de principios que podían aplicarse en todas 
partes, una simplificación de la complejidad que era fácilmente 
replicable. 

En la introducción a Affect Imagery Consciousness, Tomkins 
enmarcó su teoría de las emociones universales de base biológica 
como una que abordaba una crisis aguda de la soberanía 
humana. Desafiaba con esto el desarrollo del conductismo y el 
psicoanálisis, dos escuelas del pensamiento que, según él, tra- 
taban la conciencia como si fuera un mero subproducto de otras 
fuerzas que, a su vez, servían. Señalaba que la conciencia humana 
había “sido desafiada y reducida una y otra vez, primero por 
Copérnico”, que desplazó al hombre desde el centro del universo, 
“después por Darwin”, cuya teoría de la evolución destrozó por 
completo la idea de que los seres humanos habían sido creados 
a imagen de un Dios cristiano, “y sobre todo por Freud”, que les 
quitó a la conciencia humana y a la razón su espacio como 
fuerzas impulsoras de nuestra motivación.!” Tomkins continua- 
ba su argumento con esta aseveración: “La paradoja del control 
máximo sobre la naturaleza, y el control mínimo sobre la natu- 
raleza humana, deriva en parte del descuido de la función de la 


19 Silvan S. Tomkins, Affect Imagery Consciousness. The Complete Edition, 
Nueva York, Springer, 2008. 
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conciencia como un mecanismo de control”20 Para decirlo de 
una manera más simple: la conciencia nos dice muy poco respecto 
a por qué sentimos y actuamos como lo hacemos. Esta es una 
afirmación clave para todo tipo de aplicaciones posteriores de 
la teoría de las emociones, ya que pone énfasis en la incapacidad 
de los humanos de reconocer tanto el sentimiento como la expre- 
sión de las emociones. Si como seres humanos somos incapaces 
de detectar realmente lo que sentimos, entonces ¿quizá los sis- 
temas de 1a pueden hacerlo por nosotros? 

La teoria de las emociones de Tomkins fue su manera de 
abordar el problema de la motivación humana. Argumentó que 
la motivación estaba gobernada por dos sistemas: emociones 
e impulsos. Tomkins sostenía que los impulsos solían estar aso- 
ciados estrechamente con las necesidades biológicas inmedia- 
tas, como el hambre y la sed,’ y eran instrumentales: el dolor 
que causa el hambre se puede remediar con comida. Pero el 
sistema primario que gobierna la motivación humana y el com- 
portamiento es el de las emociones, que incluye sentimientos 
positivos y negativos. Las emociones, que desempeñan el papel 
más importante en la motivación humana, amplifican las seña- 
les de los impulsos, pero son mucho más complejas. Por ejemplo, 
resulta difícil saber la razón precisá o las causas por las que llora 
un bebé, expresando la emoción del sufrimiento-angustia. El 
bebé puede estar “hambriento o [con] frío o mojado o adolorido 
o [llorando] por una fiebre”.22 De igual modo, hay un gran 
número de maneras en que se puede lidiar con este sentimiento 
emocional: “El llanto se puede detener alimentando el bebé, 


20 Silvan S. Tomkins, op. cit. 

21 Ruth Leys, The Ascent of Affect. Genealogy and Critique, Chicago, Uni- 
versity of Chicago Press, 2017, p. 18. 

22 Silvan S. Tomkins, op. cit, p. 23. 
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meciéndolo, subiendo la temperatura de la habitación, bajándola, 
quitando el alfiler del pañal, etcétera”23 
Tomkins concluye lo siguiente: 


El precio que se paga por esta flexibilidad es el de la ambigúe- 
dad y el error. El individuo puede (o no) identificar correcta- 
mente la “causa” de su miedo o alegría, y puede (o no) aprender 
a reducir su miedo o mantener o recapturar su alegría. En este 
aspecto, el sistema de las emociones no es tan simple como un 
sistema de señales, como [sí] lo es el sistema de impulsos.2 


Las emociones, como los impulsos, no son estrictamente instru- 
mentales, tienen un grado más alto de independencia de los es- 
tímulos y los objetos, lo que quiere decir que, a menudo, podemos 
no saber por qué sentimos enojo, miedo, o felicidad. 

Toda esta ambigúedad puede sugerir que las complejidades 
de las emociones son imposibles de desenredar. ¿Cómo podemos 
saber cualquier cosa sobre un sistema en el que las conexiones en- 
tre la causa y el efecto, el estímulo y la respuesta, son tan tenues 
e inciertas? Tomkins propuso una respuesta: “Las emociones pri- 
marias [...] parecen están relacionadas innatamente de una forma 
individualizada con un sistema de órganos que es extraordina- 
riamente visible” En otras palabras, el rostro.?6 Encontró preceden- 


23 Ibid, 

24 Ibid, 

25 Para Leys, esta “disociación radical entre sentimiento y cognición” es 

la principal razón de su atractivo para los teóricos de las humanidades, entre 
p p d 


ellos Eve Kosofsky Sedgwick, quienes buscan revalorizar nuestras experien- 
cias de error o confusión como nuevas formas de libertad. Ruth Leys, op. 


cit, p. 35, y Eve Kosofsky Sedgwick, Touching Feeling, Affect, Pedagogy, Per- 


Sformativity, Durham, Duke University Press, 2003 [trad. esp.: Tocar la fibra. 
Afecto, pedagogía, performatividad, Madrid, Alpuerto, 2018]. 


26 Silvan S. Tomkins, op cit, p. 204. 
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tes para este énfasis en la expresión facial en dos trabajos publi- 
cados en el siglo xix: La expresión de las emociones en el hombre 
y en los animales (1872), de Charles Darwin, y un volumen des- 
conocido escrito por el neurólogo francés Guillaume Benjamin 
Amand Duchenne de Boulogne, Mécanisme de la physionomie 
humaine ou Analyse électro-physiologique de l'expression des pas- 
sions applicable a la pratique des arts plastiques (1862).27 

Tomkins asumió que la exhibición facial de las emociones era 
un universal humano. 


Las emociones —creía— son conjuntos de respuestas muscula- 
res, vasculares y glandulares localizadas en el rostro y también 
distribuidas ampliamente por el cuerpo, lo que genera respues- 
tas sensoriales. [...] Estos conjuntos organizados de respuestas 
son detonados en centros subcorticales donde se guardan “pro- 
gramas" específicos para cada emoción distinta; 


este es uno de los primeros usos de una metáfora computacio- 
nal para un sistema humano.” 

Pero Tomkins reconoce que la interpretación de las mani- 
festaciones emocionales depende de factores individuales, socia- 
les y culturales. Admitió también que había muchos diferentes 
“dialectos” del lenguaje facial en distintas sociedades.?* Es decir 
que hasta el progenitor de la investigación de las emociones plan- 


27 Silvan S. Tomkins, op. cit, p. 206; Charles Darwin, The Expression of the 
Emotions in Man and Animals, ed. de Joe Cain y Sharon Messenger, Londres, 
Penguin, 2009 (trad. esp.: La expresión de las emociones en el hombre y los 
animales, Valencia, Sempere, s. f.], y Guillaume Benjamin Duchenne de Bou- 
logne, Mécanisme de la physionomie humaine ou Analyse dlectro-physiologi- 
que de Texpression des passions applicable a la pratique des arts plastiques, 
Paris, Librairie J.-B. Bailliére et Fils, 1876. 

28 Silvan S. Tomkins, op. cit, p. 243, cit. en Ruth Leys, op. cit, p. 32. 

29 Ibid, p. 216. 
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teó la posibilidad de que el reconocimiento de los afectos y las 
emociones dependiera del contexto social y cultural. El conflicto 
potencial entre los dialectos culturales y un lenguaje universal 
basado en la biología tuvo enormes implicaciones para el estu- 
dio de las expresiones faciales y posteriores formas de recono- 
cimiento emocional. Debido a que las expresiorfes faciales son 
culturalmente variables, usarlas para entrenar sistemas de apren- 
dizaje automático supone inevitablemente mezclar todo tipo de 
contextos, señales y expectativas distintos. 

A mediados de la década de 1960, la oportunidad golpeó a 
la puerta de Ekman. Se trataba de la Advanced Research Projects 
Agency (ARPA), una de las ramas de investigación del Departa- 
mento de Defensa. Al recordar este período, Ekman admitió: “No 
fue idea mía [la investigación de las emociones]. Se me pidió... 
me empujaron. Ni siquiera escribí la propuesta de investigación. 
La escribió por mí el hombre que me dio el dinero para hacerla”.30 
En 1965, estaba investigando la expresión no verbal en ambien- 
tes clínicos y buscando fondos para desarrollar un programa de 
investigación en la Stanford University. Consiguió una entrevista 
en Washington con Lee Hough, que estaba a la cabeza de la 
división de Ciencias del Comportamiento de arpa! A Hough no 
le impresionó la descripción que Ekman hizo de su investigación, 
pero vio el potencial en el entendimiento de la comunicación no 
verbal transcultural.32 

El único problema era que, según admitía el propio Ekman, 
él no sabía cómo hacer investigación transcultural: “Ni siquiera 


30 Paul Ekman, Nonverbal Messages: Cracking the Code. My Life's Pursuit, 
San Francisco, PEG, 2016, p. 45. 

31 Anna Tuschling, “The Age of Affective Computing”, en Marie-Luise 
Angerer, Bernd Bésel y Michaela Ott (eds), Timing of Affect. Epistemologies, 
Aesthetics, Politics, Zúrich, Diaphanes, 2014, p. 186. 

32 Paul Ekman, Nonverbal Messages, op. cit, p. 45. 
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sabía cuáles eran los argumentos, la bibliografía o los métodos"33 
Así que, comprensiblemente, decidió dejar de buscar el finan- 
ciamiento de ARPA. Pero Hough insistió y, de acuerdo con Ekman, 
“se sentó un día entero en mi oficina y escribió la propuesta que 
luego él mismo financió y me permitió hacer la investigación 
por la que soy conocido: la evidencia de la universalidad de 
ciertas expresiones faciales de emociones y las diferencias cul- 
turales en los gestos"34 Obtuvo una inyección masiva de fondos 
de arpa, cercana al millón de dólares; el equivalente a más de 
ocho millones de dólares en la actualidad.? 

En ese momento, Ekman se preguntó por qué Hough pare- 
cía estar tan ansioso por financiar su investigación, a pesar de 
sus propias objeciones y su falta de experiencia. Resultó que 
Hough quería distribuir su dinero rápidamente para poder 
eludir las sospechas del senador Frank Church, que había des- 
cubierto a Hough usando la investigación en las ciencias socia- 
les para tapar la adquisición de información en Chile que 
pudiera ser usada para derrocar al gobierno de izquierda del 
presidente Salvador Allende. Ekman llegaría a concluir que 
era simplemente un tipo con suerte, alguien “capaz de hacer 
investigación en el extranjero que no lo metería [a Hough] en 
problemas”2” ARPA sería la primera de una larga lista de agen- 
cias de defensa, inteligencia y policía que financiarían tanto la 
carrera de Ekman como, más ampliamente, el campo del reco- 
nocimiento emocional. 

Con el apoyo de una gran beca a sus espaldas, Ekman em- 
pezó sus primeros estudios para probar la universalidad de las 


33 Paul Ekman, Nonverbal Messages, Op. cit, p. 46. 
34 Ibid. 
35 Ibid. 
36 Ibid, 
37 Ibid. 


GE 


LAS EMOCIONES 245 


expresiones faciales. En general, estos estudios siguieron un 
diseño que sería replicado en los primeros laboratorios de 1A. 
Ekman duplicó en gran parte los métodos de Tomkins, incluso 
usando las fotografías de este para hacer pruebas con sujetos 
tomados de Chile, Argentina, Brasil, Estados Unidos y Japón.38 
Confiaba en pedirles a los participantes de la ivestigación que 
simularan las expresiones de una emoción y, luego, las com- 
pararía con expresiones reunidas “en condiciones salvajes”, 
esto es, fuera de un laboratorio.3 Se les mostraban a los suje- 
tos fotografías de expresiones faciales en pose, seleccionadas 
por los diseñadores, como ejemplares o expresivas de una 
emoción particularmente “pura” o intensa. Se les pedía enton- 
ces que eligieran entre esas categorías de emociones y etique- 
taran la imagen. El análisis midió el grado en que las etiquetas 
elegidas por los sujetos se correlacionaban con las elegidas 
por los diseñadores. 

Desde el principio, la metodología presentó problemas. El 
formato de respuesta de elección forzada de Ekman sería criti- 
cado más tarde por alertar a los sujetos de las conexiones que 
los diseñadores ya habían hecho entre expresiones faciales y 
emociones.* Además, el hecho de que estas emociones fueran 
falsificadas o actuadas levantaría preocupaciones significativas 


38 Paul Ekman y Erika L. Rosenberg (eds.), What the Face Reveals. Basic 
and Applied Studies of Spontaneous Expression Using the Facial Action Coding 
System (racs), Nueva York, Oxford University Press, 1997, p. 375. 

3° Silvan S. Tomkins y Robert McCarter, “What and Where Are the Primary 
Affects? Some Evidence for a Theory”, en Perceptual and Motor Skills, vol. 18, 
núm. 1, 1964, pp. 119-158, disponible en línea: <https://doi.org/10.2466/ 
pms.1964.18.1.119>. 

1 James A. Russell, “Is There Universal Recognition of Emotion from 
Facial Expression? A Review of the Cross-Cultural Studies’, en Psychological 
Bulletin, vol. 115, núm. 1, 1994, p. 116, disponible en linea: <https://doi.org/ 
10.1037/0033-2909.115.1.102>. 
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acerca de la validez de los resultados.*! Ekman encontró algu- 
nos acuerdos transculturales usando este método, pero el antro- 
pólogo Ray Birdwhistell puso en duda sus hallazgos y sugirió 
que podían no reflejar estados emocionales innatos, si es que 
habían sido aprendidos culturalmente a través de la exposición 
a medios masivos como películas, televisión o revistas.* Fue 
esta controversia la que empujó a Ekman a dirigirse a Papúa 
Nueva Guinea, específicamente a estudiar indígenas en la región : 
de las zonas altas. Pensó que, si las personas con poco contacto E 
con la cultura y los medios occidentales coincidían con la forma ; 
en que había categorizado expresiones emocionales propuestas, 
esto le proporcionaría una fuerte evidencia de la universalidad 
de su esquema. 

Después de regresar de su primer intento por estudiar a los 
fore en Papúa Nueva Guinea, Ekman ideó un enfoque alternativo 
para probar su teoría. Les mostró a sujetos de investigación en 
Estados Unidos una fotografía, luego les pidió que eligieran uno 
entre seis conceptos emocionales: felicidad, miedo, disgusto- 
desprecio, ira, sorpresa y tristeza. Los resultados se acercaban lo 
suficiente a los de sujetos de otros países, con lo que Ekman 
creyó que estaba en condiciones de asegurar quẹ “ciertos com- 
portamientos faciales particulares están asociados universal- 
mente con emociones particulares”.4 


l 
| 


41 Ruth Leys, op. cit, p. 93. $ 

42 Paul Ekman y Erika L. Rosenberg (eds.), What the Face Reveals, op. cit, 
F paul Ekman, E. Richard Sorenson y Wallace V. Friesen, “Pan-Cultural 
Elements in Facial Displays of Emotion”, en Science, vol. 164, 1969, pp. 86 y 
87, disponible en línea: <https://doi.org/10.1126/science.164.3875.86>. 

44 Paul Ekman y Wallace V. Friesen, “Constants across Cultures in the 
Face and Emotion”, en Journal of Personality and Social Psychology, vol. 17, 
núm. 2, 1971, p. 128, disponible en línea: <https://doi.org/10.1037/0030377>. 
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EMOCIONES: DE LA FISONOMÍA 
A LA FOTOGRAFÍA 


La idea de que los estados interiores se pueden inferir de forma 
confiable a partir de señales exteriores surge en parte de la 
historia de la fisonomía, que fue premisa en el éstudio de los 
rasgos faciales de las personas para encontrar indicaciones sobre 
su carácter. En el mundo griego antiguo, Aristóteles había creído 
que “es posible juzgar el carácter de los hombres a partir de su 
aspecto físico [...] pues se ha asumido que el cuerpo y el alma 
se ven afectados juntos”.1 Los griegos también usaban la fiso- 
nomía como una forma temprana de clasificación racial, apli- 
cada al “género del hombre mismo, dividiéndolo en razas, en la 
medida en que difirieran en apariencia y en personalidad (por 
ejemplo, egipcios, tracios y escitas)”. Presuponían una conexión 
entre el cuerpo y el alma que justificaba una lectura del carácter 
interior de una persona basada en su apariencia externa. 

La fisonomía en la cultura occidental llegó a un punto álgido 
durante los siglos XVIII y XIX, cuando se la veía como parte de 
las ciencias anatómicas. Una figura central de esta tradición era 
el pastor suizo Johann Kaspar Lavater, quien escribió Essays on 
Physiognomy; for the Promotion of Knowledge and the Love of 
Mankind [Ensayos sobre la fisonomía para la promoción del co- 
nocimiento y el amor a la humanidad], publicado originalmente 
en alemán en 1789.*7 Lavater tomó los métodos de la fisonomía 


% Aristóteles, The Categories. On Interpretation, trad. de Harold Percy 
Cooke y Hugh Tredennick, Cambridge, Harvard University Press, 1938, 70b, 
8-13, 527 [trad. esp.: Categorias, Buenos Aires, Colihue, 2009]. 

46 Ibid, 805a, 27-30, 87. 

47 Sería difícil exagerar la influencia de esta obra, que desde entonces ha 
caído en descrédito: en 1810 ya tenía dieciséis ediciones en alemán y veinte 
en inglés. John Graham, “Lavater’s Physiognomy in England”, en Journal of 
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y los mezcló con los últimos conocimientos científicos. Intentó 
crear una comparación más “objetiva” de los rostros usando silue- 
tas en lugar de grabados de artistas, ya que estas eran más mecá- 
nicas y fijaban la posición de cada rostro en una forma familiar 
(la del perfil), lo que permitía un punto de vista comparativo.18 
Creía que la estructura ósea era una conexión subyacente entre 
la apariencia física y el tipo de carácter. Mientras que las expre- 
siones faciales eran pasajeras, los cráneos ofrecían un material 
más sólido para las inferencias fisonómicas.*? Como vimos en el 
capítulo anterior, la medición de cráneos se utilizó para apoyar 
el nacionalismo, el racismo y la xenofobia emergentes. A lo largo 
del siglo xix, elaboraron este infame trabajo frenólogos como 
Franz Joseph Gall y Johann Gaspar Spurzheim, así como el trabajo 
de Cesare Lombroso en la criminología científica... todo lo cual 
conduciría alos tipos de clasificaciones inferenciales que recurren 
en los sistemas de 1a contemporáneos. 

Pero fue el neurólogo francés Duchenne, descripto por 
Ekman como un “observador maravillosamente dotado”, quien 
codificó el uso de la fotografía y otros medios técnicos en el 
estudio de los rostros humanos.*° En Mécanisme de la physio- 
nomie humaine, Duchenne sentó importantes bases tanto para 
Darwin como para Ekman, conectando viejas ideas de la fisono- 
mía y la frenología con investigaciones más modernas de la 


the History of Ideas, vol. 22, núm. 4, 1961, p. 561, disponible en línea: <https:// 

i. 10.2307/2708032>. 
ia T. Gray, About Face. German Physiognomic Thought from Lava- 
ter to Auschwitz, Detroit, Wayne State University Press, 2004, p. 342. : 

49 Jean-Jacques Courtine y Claudine Haroche, Histoire du visage. Exprimer 
et taire ses émotions (du xvr siècle au début du xix" siècle), París, Payot € 
Rivages, 2007, p. 132. ; . 

50 Paul Ekman, “Duchenne and Facial Expression of Emotion”, en Guik 
laume Benjamin Duchenne de Boulogne, The Mechanism of Human Facial 
Expression, ed. y trad. de R. A. Cuthbertson, Cambridge, Cambridge Univer: 
sity Press, 1990, pp. 270-284. 
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fisiología y la psicología. Remplazó vagas afirmaciones sobre el 
carácter con una investigación más limitada sobre la expresión 
y los estados mentales o emocionales interiores.5! 

Duchenne trabajaba en París, en el asilo Salpétriére, que alo- 
jaba hasta cinco mil personas con un amplio rango de diagnós- 
ticos de enfermedades mentales y condicioneS neurológicas. 
Algunos se convertirían en sujetos de sus angustiosos experi- 
mentos, parte de una larga tradición de experimentación médica 
y tecnológica con aquellos más vulnerables que no pueden ne- 
garse.52 Duchenne, que era poco conocido en la comunidad 
científica, desarrolló técnicas de descargas eléctricas para esti- 
mular movimientos musculares aislados en los rostros de las 
personas. Su meta era construir un entendimiento anatómico y 
fisiológico más completo del rostro. Usó estos métodos para 
unir la nueva ciencia psicológica con el estudio mucho más 
antiguo de los signos fisonómicos, o pasiones.533 Confió en las 
últimas técnicas fotográficas, como el procesamiento de colo- 
dión, que permitía tiempos de exposición mucho más cortos, lo 
que le permitió congelar en imágenes movimientos musculares 
y expresiones faciales fugaces. 

Incluso en estas etapas muy tempranas, los rostros nunca 
fueron expresiones humanas naturales o que ocurrieran en con- 
textos sociales, sino simulaciones producidas por la aplicación 


51 Guillaume Benjamin Duchenne de Boulogne, op. cit. 

52 François Clarac, Jean Massion y Allan M. Smith, “Duchenne, Charcot 

and Babinski, Three Neurologists of La Salpetriére Hospital, and Their Con- 
tribution to Concepts of the Central Organization of Motor Synergy”, en 
Journal of Physiology - Paris, vol. 103, núm. 6, 2009, pp. 362 y 363, disponi- 
ble en línea: <https://doi.org/10.1016/¡jphysparis.2009.09.001>. 
53 Francois Delaporte, Anatomy of the Passions, trad. de Susan Emanuel, 
Stanford, Stanford University Press, 2008, p. 33 [trad. esp.: Anatomia de las 
pasiones, Barranquilla, Uninorte, 2007]. 

54 Ibid, pp. 48-51. 
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bruta de electricidad en los músculos. Aun así, Duchenne creía 
que el uso de la fotografía y otros sistemas técnicos transfor- 
maría el laxo asunto de la representación en algo objetivo y 
probatorio, más pertinente para el estudio científico." En su 
introducción a La expresión de emociones en el hombre y en los 
animales, Darwin elogió las “magníficas fotografías” de Duchenne 
e incluyó reproducciones en su propio trabajo.5° Puesto que las 
emociones son ocurrencias temporales, incluso fugaces, la foto- 
grafía ofrecía la posibilidad de fijar, comparar y categorizar su 
aparición en el rostro. Sin embargo, las imágenes verdaderas de 
Duchenne estaban muy fabricadas. 

Ekman seguiría a Duchenne al poner a la fotografía en el 
centro de su práctica experimental.” Creía que la fotografía en 
cámara lenta era esencial para su método;porque muchas expre- 
siones faciales operan en los límites de la percepción humana. 
Buscaba encontrar las llamadas microexpresiones, movimientos 
musculares minúsculos en la cara. La duración de las microexpre- 
siones, según él, “es tan corta que, a menos que se use la proyec- i 
ción en cámara lenta, se quedan en el umbral del reconocimiento" 38 
En años posteriores, Ekman también insistiría en que cualquiera 
podía llegar a aprender a reconocer microexpresiones, sin un 
entrenamiento especial ni el uso de capturas en cámara lenta, 
en alrededor de una hora. Pero si estas expresiones son dema- 


55] orraine Daston y Peter Galison, Objectivity, Nueva York, Zone Books, 2010. 

56 Charles Darwin, op. cit, pp. 12 y 307. 

57 Ruth Leys, op. cit, p. 85, y James A. Russell, “Is There Universal Recog- 
nition of Emotion from Facial Expression? A Review of the Cross-Cultural 
Studies”, en Psychological Bulletin, vol. 115, núm. 1, 1994, p. 114, disponible 
en línea: <https://doi.org/10.1037/0033-2909.115.1.102>. 

58 Paul Ekman y Wallace V. Friesen, “Nonverbal Leakage and Clues to De- 
ception”, en Psychiatry, vol. 31, núm. 1, 1969, p. 93. 

59 Mark Williams Pontin, “Lie Detection”, en mir Technology Review, 21 de 
abril de 2009, disponible en línea: <https://www-technologyreview.com/s/ 
413133/lie-detection/>. 
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Placas de Guillaume Benjamin Duchenne (de Boulogne), 
Mécanisme de la physionomie humaine. Cortesía de la Biblioteca 
Nacional de Medicina de Estados Unidos. 
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siado rápidas para que los humanos puedan reconocerlas, ¿cómo 
van a poder entenderlas?é0 

Uno de los planes más ambiciosos de Ekman al principio de 
su investigación era codificar un sistema para detectar y analizar 
expresiones faciales.©! En 1971, copublicó la descripción de lo 
que llamó Facial Action Scoring Technique (rast) [Técnica de 
puntuación de acciones faciales]. Apoyándose en fotografías para 
las que habían posado, el método usaba seis tipos emocionales 
básicos, derivados principalmente de las intuiciones de Ekman. 
Pero FAST pronto se encontró con problemas cuando otros cien- 
tíficos fueron capaces de producir expresiones faciales que no 
estaban incluidas en su tipología.$3 Así que Ekman decidió basar 
su nueva herramienta de medición en la musculatura facial, 
remontándose a los estudios originales: de electrochoque de 
Duchenne. Ekman identificó aproximadamente cuarenta con- 
tracciones musculares distintas en el rostro, y llamó a los com- 
ponentes básicos de cada expresión facial unidad de acción.54 
Después de algunas pruebas y validaciones Ekman y Wallace 
Friesen publicaron el Facial Action Coding System (Facs) [Sistema 
de codificación de la acción facial] en 1978; las ediciones actua- 


60 Paul Ekman y Wallace V. Friesen, “Nonverbal Leakage...”, op. cit, p. 94. 
En una nota al pie, los autores explican; “Nuestra propia investigación y la 
evidencia de la neurofisiología de la percepción visual sugieren fuertemente 
que se pueden percibir microexpresiones que son tan cortas como un cua- 
dro de película (1/50 de segundo). El hecho de que estas microexpresiones 
no se vean habitualmente debe depender de que estén incrustadas en otras 
expresiones que distraen la atención, su poca frecuencia o algún hábito 
perceptual aprendido de ignorar las expresiones faciales rápidas”. 

$1 Paul Ekman, E. Richard Sorenson y Wallace V. Friesen, “Pan-Cultural 
Elements in Facial Displays of Emotion”, en Science, vol. 164, 1969, p. 87, 
disponible en línea: <https://doi.org/10.1126/science. 164.3875.86>. 

62 Paul Ekman, Wallace V. Friesen y Silvan Tomkins, “Facial Affect Scoring 
Technique: A First Validity Study”, en Semiotica, vol. 3, 1971, p. 40. 

63 Paul Ekman, Nonverbal Messages, op. cit, p. 97. 

64 Ibid, p. 102. 
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lizadas continúan siendo ampliamente utilizadas.® Facs era 

extremadamente laborioso para ser usado como una herramienta 

de medición. Ekman dijo que le tomaba entre setenta y cinco y 

ochenta horas capacitar a los usuarios en la metodología FAcs 

y una hora obtener un minuto de metraje facial. i 
A 


Elementos del Sistema de codificación de la acción facial. 
Fuente: Paul Ekman y Wallace V. Friesen. 


En una conferencia a principios de los años ochenta, Ekman escu- 
chó una presentación que sugería una solución a las intensas 
demandas laborales de racs: el uso de computadoras para auto- 
matizar las mediciones. Aunque en sus memorias Ekman no men- 
ciona al investigador que dio la charla, sí señala que el sistema se 
llamaba Wizard y que había sido desarrollado en la Brunel Uni- 


65 Paul Ekman y Erika L. Rosenberg (eds.), What the Fac ji 
E A. Reveals, op. cit. 
"7 Paul Ekman, Nonverbal Messages, op. cit, p. 105. S 
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versity de Londres.” Seguramente, se trata del sistema de reco- 
nocimiento de objetos de aprendizaje automático de Igor Alek- 
sander, WISARD, uno de los primeros de su tipo, que usaba redes 
neuronales en una época en que este método estaba pasado de 
moda.S5 Algunas fuentes reportan que WISARD estaba entrenado 
con “una base de datos de conocidos hooligans de fútbol”, antici- 
pando el difundido uso contemporáneo de fotos de prontuarios 
policiales para entrenar tecnologías de reconocimiento facial. 99 
Debido a que el reconocimiento facial surgió como una de 
las aplicaciones fundacionales para la 14 en los años sesenta, no 
resulta sorprendente que los primeros investigadores que traba- 
jaban en este campo hicieran causa común con el método de 
Ekman para analizar rostros.” El mismo Ekman asegura haber 
tenido un papel activo impulsando las formas automatizadas de 
reconocimiento emocional a través de sus viejos contactos en las 
agencias de defensa e inteligencia, de la época en que lo financiaba 
ARPA. Ayudó a organizar una competencia informal entre dos 
equipos trabajando con datos Facs, y esto parece haber tenido un 
impacto duradero. Ambos equipos han pasado a ocupar un lugar 
prominente en el campo de la computación emocional. Un equipo 
estaba compuesto por Terry Sejnowski y su estudiante Marian 
Bartlett, que se convertiría en una figura importante de la infor- 
mática de reconocimiento emocional y la científica principal de 
Emotient, adquirida por Apple en 2016.7 El segundo equipo, con 


sede en Pittsburgh, era dirigido por el psicólogo Jeffrey Cohn de 
la University of Pittsburgh y el eminente investigador de visión 
artificial Takeo Kanade de Carnegie Mellon.?? Estas dos figuras 
se dedicaron al reconocimiento emocional a largo plazo y desa- 
rrollaron el muy conocido conjunto de datos de expresión emo- 
cional Cohn-Kanade (ck) y sus descendientes. * 

El sistema Facs de Ekman proporcionó dos cosas esenciales 
a las aplicaciones posteriores de aprendizaje automático: un 
conjunto de etiquetas estable, discreto y finito, que los humanos 
podían usar para categorizar fotografías de rostros, así como un 
sistema para producir mediciones. Prometía desplazar, del 
ámbito de los artistas y novelistas, el difícil trabajo de represen- 
tar las vidas interiores para ponerlo bajo la protección de una 
rúbrica racional, cognoscible y mensurable, adecuada para los 
laboratorios, corporaciones y gobiernos. 


CAPTURAR EL SENTIMIENTO: EL ARTIFICIO DETRÁS 
DE LA INTERPRETACIÓN DE LAS EMOCIONES 
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A medida que empezaba a tomar forma el uso de computadoras 
para el reconocimiento emocional, los investigadores admitieron 
que necesitaban una recolección de imágenes estandarizadas 
para experimentar. Un informe de la National Science Foundation 
(NSF) de 1992, escrito en colaboración con Ekman, recomendaba 
que “una base de datos multimedia, de fácil acceso, compartida 
por la diversa comunidad de la investigación facial, sería un 
importante recurso para resolver y ampliar algunos temas rela- 
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67 Paul Ekman, Nonverbal Messages, op. cit, p. 169. 

88 Ibid, p. 106, e Igor Aleksander (ed.), Artificial Vision for Robots, Boston, 
Springer us, 1983. : 

69 Magic from Invention”, en Brunel University London, disponible en 
línea: <https://www-brunel.ac.uk/research/Brunel-Innovations/ 'Magic-from- 
invention>. at 

7 Woodrow Wilson Bledsoe, “The Model Method in Facial Recognition’, 
reporte técnico, PRI 15, Palo Alto, Panoramic Research, 1964. 

71 Phillip Molnar, Gary Robbins y David Pierson, op. cit. 


72 Takeo Kanade, Computer Recognition of Human Faces, Basel, Birkháu- 
ser Boston, 2013. 
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cionados con el entendimiento facial”73 En menos de un año, el 
Departamento de Defensa comenzaría a financiar el programa 
Face Recognition Technology (FERET) para recolectar fotografías 
faciales, como vimos en el capítulo 111. Para el final de la década, 
los investigadores de aprendizaje automático habian comenzado 
a compilar, etiquetar y hacer públicos los conjuntos de datos 
que impulsan la mayor parte de la investigación de aprendizaje 
automático hoy en día. 

Las pautas de Facs de Ekman formaron directamente el con- 
junto de datos de cx.” Siguiendo con la tradición de e de 
posar para las expresiones faciales, “a los sujetos se les instruyó 
por medio de un experimentador a realizar una serie de 23 
demostraciones faciales”, que los expertos de FACS luego codifi- 
caron, proporcionando etiquetas para los datos. El conjunto de 
datos de cK permitió a los laboratorios comparar sus resultados 
y su progreso a medida que construían nuevos sistemas de reco- 
nocimiento de expresiones. 

Otros laboratorios y compañías trabajaban en proyectos pa- 
ralelos, creando decenas de bases de datos. Por ejemplo, los in- 
vestigadores de un laboratorio en Suecia crearon el Karolinska 
Directed Emotional Faces. Esta base de datos se compone de imá- 
genes de individuos que posan con expresiones emocionales que 
se corresponden con las categorías de Ekman.” Hacen que sus 


D o Kanade, Computer Recognition of Human Faces, op. cit, p. 16: 
7 Cont Kanade, Jeffrey F. Cohn y Yingli Tian, “Comprehensive De 
for Facial Expression Analysis”, en Proceedings Fourth IEEE Internationa ee 
ference on Automatic Face and Gesture Recognition, 2000, p. 46, disponi 
en linea: <https://doi.org/10.1109/AFGR.2000.840611>. ie 
75 Véanse Takeo Kanade, Jeffrey E Cohn y Yingli Tian, op. cit; 


Lyons et al, “Coding Facial Expressions with Gabor Wavelets" en Proceedings 


Third wrr International Conference on Automatic Face and Gesture Renge 
tion, 1998, pp. 200-205, disponible en línea: <https://doi.org/10. 


AFGR.1998.670949>, y Elen Goeleven et al, "The Karolinska Directed Emo- 


tional Faces: A Validation Study”, en Cognition and Emotion, vol. 22, núm: 6, 
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rostros adopten formas acordes a seis estados emocionales bási- 
cos. Al mirar estos conjuntos de datos de entrenamiento cuesta 
no sorprenderse por lo extremos que son: ¡Sorpresa increíble! 
¡Felicidad abundante! ¡Miedo paralizante! Estos sujetos están 
literalmente creando emociones legibles por computadora. 

Mientras el campo crecía en escala y complejitlad, también lo 
hacían los tipos de fotografías usadas en el reconocimiento emo- 
cional. Los investigadores comenzaron a utilizar el sistema FACS 
para etiquetar datos generados no a partir de poses con expresiones, 
sino de expresiones faciales espontáneas, a veces recopiladas fuera 
del laboratorio. Por ejemplo, una década después del inmensa- 
mente exitoso lanzamiento del conjunto de datos cK, un grupo 
de investigadores lanzó una segunda generación, el conjunto de 
datos Cohn-Kanade Extendido (ck+),’6 que incluía el rango típico 
de poses con expresiones, pero también empezó a incluir las lla- 
madas expresiones sin pose o espontáneas, tomadas de videos en 
los que los sujetos hacían expresiones faciales espontáneas. 

Para 2009, Affectiva surgió del mrr Media Lab con el objetivo 
de capturar “expresiones faciales naturalistas y espontáneas” en 
escenarios de la vida real? La compañía recolectó datos permi- 
tiendo a los usuarios participar en un sistema que grabaría sus 
rostros usando una cámara web mientras miraban una serie de 
comerciales, Estas imágenes serían luego etiquetadas usando un 


2008, pp. 1094-1018, disponible en línea: <https://doi.org/10.1080/02699 
930701626582>. 

7 Patrick Lucey et al, “The Extended Cohn-Kanade Dataset (CK+): A 
Complete Dataset for Action Unit and Emotion-Specified Expression”, en 
2010 IEEE Computer Society Conference on Computer Vision and Pattern 
Recognition - Workshops, pp. 94-101, disponible en linea: <https://doi.org/ 
10.1109/CVPRW.2010.5543262>. 

77 Daniel McDuff et al, “Affectiva-MIT Facial Expression Dataset (AM-FED): 
Naturalistic and Spontaneous Facial Expressions Collected Tn-the-Wild” en 
_ 2013 EBE Conference on Computer Vision and Pattern Recognition Workshops, 

Pp. 881-888, disponible en línea: <https://doi.org/10.1109/CVPRW.2013.130>. 
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Expresiones faciales del conjunto de datos Cohn-Kanade: 
alegría, ira, disgusto, tristeza, sorpresa, miedo. Imágenes para 
las que se ha posado de Takeo Kanade et al., Yearbook 

of Physical Anthropology, 2000. © Cohn & Kanade. 


software personalizado por codificadores entrenados con el pacCs 
Pero aquí encontramos otro problema de circularidad: Facs fue 
desarrollado a partir del cuantioso archivo de Ekman de fotografías 
en que se posa;”” incluso cuando las imágenes son recolectadas en 
escenarios naturalistas, por lo general se clasifican de acuerdo con 
un esquema derivado de imágenes para las que se posa. 

El trabajo de Ekman influyó profunda y ampliamente en casi 
todo, desde el software de detección de mentiras hasta la visión 
artificial. The New York Times lo describió como “el lector de ros- 
tros más famoso del mundo” y Time lo nombró una de las cien 
personas más influyentes del mundo. Eventualmente, llegaría a 
ser asesor de clientes tan dispares como el Dalai Lama, el Fed- 
eral Bureau of Investigation (FBI), la Intelligence Agency (c14), 
el Servicio Secreto e, incluso, el estudio de animación Pixar, que 


78 Daniel McDuff et al, op. cit. 

79 Paul Ekman y Wallace V. Friesen, Facial Action Coding System (racs). A 
Technique for the Measurement of Facial Action, Palo Alto, Consulting Psycho- 
logists Press, 1978. 
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quería crear representaciones más realistas para las caras de sus 
dibujos animados.% Sus ideas se volvieron parte de la cultura po- 
pular, incluidas en best-sellers como Blink: inteligencia intuitiva, 
de Malcolm Gladwell, y un drama de televisión, Miénteme, en el 
que Ekman trabajó como asesor del personaje principal, aparen- 
temente basado vagamente en é1.8! * 

Sus negocios también prosperaron: Ekman vendió técnicas 
de detección de engaños a agencias de seguridad como la Trans- 
portation Security Administration (rsa), que las usó para desa- 
rrollar el programa Screening of Passengers by Observation Tech- 
niques (SPOT). SPOT se usó para monitorear las expresiones 
faciales de los viajeros aéreos en los años que siguieron a los 
ataques del 11 de septiembre, en un intento por detectar terro- 
ristas “automáticamente”. El sistema usa un conjunto de 94 cri- 
terios que, supuestamente, son señales de estrés, miedo o engaño. 
Pero estar buscando estas respuestas significaba que algunos 
grupos estaban inmediatamente en desventaja. Cualquiera que 
estuviera estresado, que se sintiera incómodo al ser interrogado 
o que hubiera tenido experiencias negativas con la policía o los 
controles fronterizos podía obtener una puntuación más alta. 
Esto produjo su propia forma de discriminación racial. El pro- 
grama spor ha sido criticado por la Government Accountability 
Office (GAO) y por grupos que abogan por los derechos indivi- 


80 Judy Foreman, “A Conversation with: Paul Ekman; The 43 Facial Muscles 
That Reveal Even the Most Fleeting Emotions”, en The New York Times, 5 de 
agosto de 2003, disponible en linea: <https://www.nytimes.com/2003/08/05/ 
health/conversation-with-paul-ekman-43-facial-muscles-that-reveal-even- 
most-fleeting html>; Jill Bolte Taylor, “The 2009 Time 100”, en Time, 30 de 
abril de 2009, disponible en línea: <http://content.time.com/time/specials/ 
packages/article/0,28804,1894410_1893209_1893475,00.html>, y Paul 
Ekman Group, disponible en línea: <https://www.paulekman.com/>. 

31 Sharon Weinberger, “Airport Security: Intent to Deceive?, en Nature, 
vol. 465, 2010, p. 413, disponible en linea: <https://doi.org/10.1038/465412a>. 
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duales, por su falta de metodología científica y por no producir 
éxitos claros, a pesar de su precio de 900 millones de dólares.82 


LAS CRÍTICAS A LAS TEORÍAS DE EKMAN 


Cuanto más crecía la fama de Ekman, también lo hacía el escep- 
ticismo hacia su trabajo, con críticas que provenían de distintos 
campos. Una de las primeras críticas fue la antropóloga cultural 
Margaret Mead, que debatió con Ekman sobre la cuestión de la 
universalidad de las emociones a fines de la década de 1960, lo 
que resultó en intercambios feroces no solo entre ellos dos, sino 
entre otros antropólogos que criticaban las ideas de Ekman sobre 
una universalidad absoluta.$? A Mead no la convencía que Ekman 
creyera en determinantes biológicos universales del comporta- 
miento y no considerara factores culturales. En particular, 
Ekman tendía a reducir las emociones a un binario demasiado 
simplificado y mutuamente excluyente: o las emociones eran 
universales o no lo eran. Los críticos como Mead señalaban que 
había otros matices. Ella adoptó una posición intermedia y 
destacó que no había ninguna contradicción inherente entre “la 


82 Ashley Halsey 111, “House Member Questions $900 Million TSA ‘spor’ 
Screening Program’, en The Washington Post, 14 de noviembre de 2013, dis- 
ponible en línea: <https://www.washingtonpost.com/local/trafficandcommu- 
ting/house-member-questions-900-million-tsa-spot-screening-program/2013/ 
11/14/ad194cfe-4d5c-11e3-be6b-d3d28122e6d4_story.html>. 

83 Paul Ekman, “A Life's Pursuit”, en Thomas A. Sebeok y Jean Umiker- 
Sebeok (eds.), The Semiotic Web Se An International Yearbook, Berlin, Mou- 
ton de Gruyter, 1987, pp. 4-46, y Nonverbal Messages, op. cit, pp. 79-81. 


84 Margaret Mead, “Review of Darwin and Facial Expression. A Century 


of Research in Review, edited by Paul Ekman’, en Journal of Communication, 
vol. 25, núm. 1, 1975, p. 209, disponible en línea: <https://doi.org/10.11114. 
1460-2466.1975.tb00574.x>. 

85 Silvan S. Tomkins, Affect Imagery Consciousness, op. cit, p. 216. 


LAS EMOCIONES 261 


posibilidad de que los seres humanos puedan compartir un nú- 
cleo de comportamientos innatos [...] y la idea de que las expre- 
siones emocionales puedan, al mismo tiempo, estar muy condi- 
cionadas por factores culturales’ 86 

Otros científicos de distintos campos se sumaron al coro en 
las siguientes décadas. En años más recientes los p8icdlogos James 
Russell y José Miguel Fernández-Dols han demostrado que los 
aspectos más básicos de la ciencia siguen estando sin resolver: 
“Las preguntas más fundamentales, como por ejemplo si acaso las 
expresiones faciales de emociones' expresan de hecho emociones, 
permanecen sujetas a grandes controversias”.87 Las científicas 
sociales Maria Gendron y Lisa Feldman Barrett han señalado los 
peligros específicos de usar las teorías de Ekman en la industria 
de la 14, porque la detección automática de expresiones faciales 
no indica con fiabilidad un estado mental interno.$$ Como observa 


85 Margaret Mead, op. cit, p. 212. Véase también Alan Fridlund, “A Behavioral 
Ecology View of Facial Displays, 25 Years Later”, en Emotion Researcher, agosto 
de 2015, disponible en línea: <https://emotionresearcher.com/the-behavioral- 
ecology-view-of-facial-displays-25-years-later/>. Ekman terminaría aceptando 
muchos de los postulados de Mead. Véanse Paul Ekman, “Argument for Basic 
Emotions”, en Cognition and Emotion, vol. 6, núm. 3-4, 1992, pp. 169-200; 
Emotions Revealed, op. cit, y “What Scientists Who Study Emotion Agree About", 
en Perspectives on Psychological Science, vol. 11, núm. 1, 2016, pp. 81-88, dis- 
ponible en línea: <https://doi.org/10.1177/1745 691615596992>. A Ekman tam- 
poco le faltaban defensores. Véanse Alan Cowen ef al, “Mapping the Passions: 
Toward a High-Dimensional Taxonomy of Emotional Experience and Expres- 
sion’, en Psychological Science in the Public Interest, vol. 20, núm. 1, 2019, pp. 
61-90, disponible en linea: <https://doi.org/10.1177/1529100619850176>, 
y Hillary Anger Elfenbein y Nalini Ambady, "On the Universality and Cultu- 
ral Specificity of Emotion Recognition: A Meta-Analysis", en Psychological 
Bulletin, vol. 128, núm. 2, 2002, pp. 203-235, disponible en línea: <https:// 
doi. org/10.1037/0033-2909.128.2.203>. 

$7 José Miguel Fernández-Dols y James A. Russell (eds.), The Science of 
Facial Expression, Nueva York, Oxford University Press, 2017, vol. 1, p. 4. 

88 Maria Gendron y Lisa Feldman Barrett, “Facing the Past’, en José Miguel 


Fernández-Dols y James A. Russell (eds.), op. cit, vol. 1, p. 30. 
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Barrett, “las compañías pueden decir lo que quieran, pero los 
datos son claros. Pueden detectar un ceño fruncido, pero eso no 
es lo mismo que detectar enojo”.$9 

Todavía más problemático resulta que, en el campo de estu- 
dio de las emociones, no haya consenso entre los investigadores 
respecto a lo que es en realidad una emoción. Qué son, cómo se 
formulan dentro nuestro y se expresan, sus funciones fisiológi- 
cas y neurobiológicas, su relación con los estímulos, incluso 
cómo definirlas: todo esto sigue total y obstinadamente lejos de 
ser resuelto. i 

Quizá la principal crítica de la teoría de las emociones de 
Ekman sea la historiadora científica Ruth Leys. En The Ascent of 
Affect desglosa minuciosamente 


las implicancias de las suposiciones fundamentalmente fisiog- 
nómicas que subyacen en el trabajo de Ekman [...] en concreto, 
la idea de que se puede mantener una distinción estricta entre 
expresiones emocionales auténticas y artificiales, basándose en 
las diferencias entre las caras que hacemos cuando estamos 
solos y las que hacemos cuando estamos con otros. 


89 James Vincent, “al ‘Emotion Recognition’ Can't Be Trusted”, en The 
Verge, 25 de julio de 2019, disponible en línea: <https://www.theverge. 
com/2019/7/25/8929793/emotion-recognition-analysis-ai-machine-lear- 
ning-facial-expression-review>. Los académicos que estudian discapacida- 
des también han notado que las suposiciones sobre cómo funcionan la 
biología y los cuerpos pueden suscitar preocupaciones en torno al sesgo, 
especialmente cuando se automatizan a través de la tecnología. Véase Mere- 
dith Whittaker et al, “Disability, Bias, and ar’, en ai Now Institute, noviembre 
de 2019, disponible en linea: <https://ainowinstitute.org/disabilitybia- 
sai-2019.pdf>. 

9 Carroll E, Izard, “The Many Meanings/Aspects of Emotion: Definitions, 
Functions, Activation, and Regulation”, en Emotion Review, vol. 2, núm. 4, 
2010, pp. 363-370, disponible en línea: <https://doi.org/10.1177/17540 
73910374661>. 

21 Ruth Leys, op. cit, p. 22. 
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Leys ve una circularidad fundamental en el método de Ekman. 
En primer lugar, las fotografias en las que se posa o se simula 
que usó expresaban un conjunto de estados emocionales bási- 
cos, “ya libres de influencias culturales”.?2 Después, estas foto- 
grafías se usaban para obtener etiquetas de distintas poblaciones 
para demostrar la universalidad de las expresiongs faciales. Leys 
señala un problema serio: Ekman asumió que “las expresiones 
faciales en las fotografías que usó en sus experimentos estaban 
libres de máculas culturales porque habían sido reconocidas a 
nivel universal. Al mismo tiempo, sugirió que esas expresiones fa- 
ciales eran reconocidas universalmente porque estaban libres de 
máculas culturales”.23 El método es en esencia recursivo. 
Otros problemas se volvieron evidentes cuando las ideas de 
Ekman empezaron a utilizarse en sistemas técnicos. Como hemos 
visto, muchos conjuntos de datos que forman la base de este 
campo están basados en actores simulando estados emocionales, 
actuando para la cámara. Esto significa que los sistemas de 1a 
están entrenados para reconocer expresiones fingidas de senti- 
mientos. Aunque los sistemas de 1 aseguran tener acceso a la 
verdad fundamental sobre los estados naturales interiores, están 
entrenados con materiales que, inevitablemente, son construidos. 
Incluso en las imágenes que capturan a personas respondiendo 
a comerciales o películas, esas personas son conscientes de que 
están siendo observadas, lo que puede alterar sus reacciones. 
La dificultad para automatizar la conexión entre los movi- 
mientos faciales y las categorías emocionales básicas nos lleva 
aun cuestionamiento más amplio: si las emociones pueden, de 
hecho, agruparse adecuadamente en pequeños números de cate- 


92 Ibid, p. 92. 
93 Ibid, p. 94. 
9 Ibid. 
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gorías discretas.” Este punto de vista se remonta a Tomkins, 
quien argumentaba que “cada tipo de emoción puede identifi- 
carse mediante una respuesta distintiva más o menos única den- 
tro del cuerpo”? Pero hay muy poca evidencia consistente que 
apunte a esto. Los psicólogos han llevado a cabo muchas revi- 
siones de la evidencia publicada, sin encontrar las asociaciones 
entre las respuestas medibles y los estados emocionales, cuya 
existencia esta evidencia asume.” Finalmente, está el obstinado 
asunto de que las expresiones faciales a veces no indican pre- 
cisamente nuestros estados interiores, como podrá confirmar 
quienquiera que alguna vez haya sonreído sin sentirse feliz.% 

Ninguno de estos importantes cuestionamientos a la base 
de las aseveraciones de Ekman ha impedido que su trabajo tenga 
un lugar privilegiado en las aplicaciones de 1A actuales. Cientos 
de artículos citan la visión de Ekman sobre las expresiones facia- 
les interpretables, como si se tratara de un hecho indiscutible, 
a pesar de las décadas de controversia científica. Muy pocos 
científicos informáticos han siquiera reconocido esta literatura 
de incertidumbres. El investigador de computación afectiva Arvid 
Kappas, por ejemplo, menciona directamente una falta de con- 
senso científico básico: 


Sabemos demasiado poco sobre los complejos moduladores 
sociales de la actividad facial, y posiblemente de otras activi- 
dades expresivas en tales situaciones, como para poder medir 
de manera confiable los estados emocionales a partir de la con- 


95 Liga Feldman Barrett, “Are Emotions Natural Kinds?”, en Perspectives on 
Psychological Science, vol. 1, núm. 1, 2006, p. 28, disponible en línea: <https:// 
doi.org/10.111 1/j.1745-6916.2006.00003 X>. 

ze Ibid, p. 30. i 

97 Véase, por ejemplo, Lisa Feldman Barrett et al, op. cit. 

98 Thid, p. 40. 
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ducta expresiva. Este no es un problema de ingenieria que puede 
resolverse con un mejor algoritmo’? 


A diferencia de muchos en este campo, que confían ciegamente 
en el reconocimiento emocional, Kappas cuestiona por completo 
la creencia de que es una buena idea que las cemputadoras in- 
tenten detectar las emociones.!00 

Entre más tiempo pasan investigadores de otros campos exa- 
minando el trabajo de Ekman, más fuerte se vuelve la evidencia 
en su contra. En 2019, Lisa Feldman Barrett dirigió un equipo de 
investigación que realizó una amplia revisión de la bibliografía 
sobre la inferencia de emociones a partir de expresiones faciales. 
Concluyeron tajantemente que las expresiones faciales están 
lejos de ser indiscutibles, y que “no son huellas digitales' o mues- 
tras de diagnóstico” que señalan con fiabilidad estados emocio- 
nales, mucho menos a través de culturas y contextos. Basándose 
en toda la evidencia actual, el equipo señaló que “no es posible 
inferir con seguridad la felicidad a partir de una sonrisa, la rabia 
de un ceño fruncido o la tristeza de una mueca, como intenta ha- 
cer gran parte de la tecnología actual al aplicar lo que equivoca- 
damente se cree que son hechos científicos”.101 

El equipo de Barrett criticaba a las compañías de 1a que ase- 
guraban ser capaces de automatizar la inferencia de las emociones: 


Las compañías tecnológicas, por ejemplo, están gastando millo- 
nes de dólares de investigación para construir dispositivos que 


°° Arvid Kappas, “Smile When You Read This, Whether You Like It or Not: 
Conceptual Challenges to Affect Detection”, en reze Transactions on Affective 
Computing, vol. 1, núm. 1, 2010, p. 39, disponible en línea: <https://doi. 
org/10.1109/T-AFFC.2010.6> (el énfasis me pertenece). 

100 Thid., p. 40. 

101 Lisa Feldman Barrett et al, op. cif, p. 46. 
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lean emociones de los rostros, tomando erróneamente la visión 
común como si fuera algo que tiene un fuerte apoyo científico. 
[...] De hecho, nuestra revisión de la evidencia científica indica 
que se conoce muy poco acerca de cómo y por qué ciertos 
movimientos faciales expresan instancias emocionales, parti- 
cularmente con un nivel de detalle suficiente como para que 
semejantes conclusiones se utilicen en programas importantes 
del mundo real.1% 


¿Por qué, teniendo tantas críticas, ha permanecido el método de 
“leer emociones” de los rostros? Al analizar la historia de estas 
ideas, nos damos cuenta de que el financiamiento de la inves- 
tigación militar, las prioridades policiales y el lucro han delineado 
esta área. Desde los años sesenta, impulsados por importantes 
fondos del Departamento de Defensa, se han desarrollado mu- 
chos sistemas que son cada vez más precisos en la medición de 
movimientos en los rostros. Una vez que surgió la teoría de que 
era posible evaluar estados internos midiendo movimientos 
faciales, y que se desarrolló la tecnología para medirlos, la gente 
adoptó voluntariamente la premisa subyacente. La teoría calzaba 
con lo que las herramientas podían hacer. Las teorías de Ekman 
parecían ideales para el campo emergente de la visión artificial 
porque podían automatizarse a escala. 

Existen poderosas inversiones institucionales y corporativas 
detrás de la validez de las teorías y metodologías de Ekman. 
Reconocer que las emociones no se pueden clasificar fácilmente, 
o que no se pueden detectar de manera confiable en expresiones 
faciales, podría socavar a una industria en expansión. En el campo 
de la 14, se suele citar a Ekman como si el tema se hubiera resuel- 
to, antes de proceder directamente a desafíos de la ingeniería. 


102 Lisa Feldman Barrett et al, op. cit, pp. 47 y 48. 
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RE E 
Conjunto de datos Columbia Gaze, en Brian A. Smith et al., 
ACM Symposium on User Interface Software and Technology 
(ust), octubre de 2013, pp. 271-280. Cortesía de Brian A. Smith, 


Los asuntos más complejos de contexto, acondicionamiento, rela- 
cionalidad y factores culturales son difíciles de conciliar con los 
métodos disciplinarios actuales de la informática, o con las ambi- 
ciones del sector tecnológico comercial. Por lo tanto, las catego- 
rías emocionales básicas de Ekman se volvieron estándar. Méto- 
dos más sutiles, como el intermedio de Mead, se pasaron en gran 
medida por alto. El enfoque se ha puesto en aumentar las tasas 
de precisión de los sistemas de 1a, en lugar de abordar las mayo- 
res preguntas respecto a las muchas maneras en que experimen- 
tamos, mostramos y ocultamos emociones y cómo interpretamos 
las expresiones faciales de los demás. 

Como escribe Barrett: “Muchos de los modelos más influyen- 
tes de nuestra ciencia asumen que las emociones son categorías 
biológicas impuestas por la naturaleza, de modo que las catego- 
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rías emocionales son reconocidas, en vez de construidas, por la 
mente humana”! Los sistemas de 1a para detectar emociones 
se basan en esta idea. El reconocimiento puede ser el marco 
equivocado por completo cuando se piensa en las emociones, 
porque el reconocimiento asume que las categorías emocionales 
están determinadas, en lugar de ser emergentes y relacionales. 


LA POLÍTICA DE LOS ROSTROS 


En vez de intentar construir más sistemas que agrupen expre- 
siones en categorías legibles por computadora, deberíamos pre- 
guntarnos por los orígenes de esas categorías, así como por sus 
consecuencias sociales y políticas. Actualmente, se usan herra- 
mientas de reconocimiento emocional para ataques políticos. 
Por ejemplo, un blog conservador aseguró haber creado un “sis- 
tema de polígrafo virtual” para evaluar videos de la congresista 
Iban Abdullahi Omar.1% Mediante análisis de rostro y voz de 
Rekognition de Amazon, xRVision Sentinel Al y Watson de 18M, 
el bloguero aseguraba que el puntaje analítico de mentiras de 
Omar superaba la “media de verdad” y que sus registros de estrés, 
desprecio y nerviosismo eran altos; Varios medios de comuni- 
cación conservadores reportaron la noticia, alegando que Omar 
era una “mentirosa patológica” y una amenaza para la seguridad 
de la nación. 1% 


103 Lisa Feldman Barrett et al, op. cit, p. 47 (el énfasis me pertenece). 

104 Yaacov Apelbaum, “One Thousand and One Nights and Ilhan Omar's 
Biographical Engineering”, en The Wustrated Primer (blog), 13 de agosto de 
2019, disponible en línea: <https://apelbaum.wordpress.com/2019/08/13/ 
one-thousand-and-one-nights-and-ilhan-omars-biographical-engineering/>. 

105 Véase, por ejemplo, Joe Hof, “Facial, Speech and Virtual Polygraph Analy- 
sis Shows han Omar Exhibits Many Indications of a Compulsive Fibber!!!" en 
The Gateway Pundit, 21 de julio de 2019, disponible en línea: <https://www. 
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Es sabido que estos sistemas sefialan las afectaciones del 
habla de las mujeres de manera diferente del modo en que se- 
ñalan las de los hombres, en especial las de las mujeres negras. 
Como vimos en el capítulo 111, la construcción de un “promedio” 
a partir de datos de entrenamiento no representativos desde el 
principio resulta epistemológicamente sospechoso, con sesgos 
claramente raciales. Un estudio llevado a cabo en la University 
of Maryland demostró que algunos softwares de reconocimiento 
facial interpretan los rostros negros como si tuvieran mayores 
emociones negativas que los blancos, en particular registrándo- 
los como más enojados y desdeñosos, incluso llegando a medir 
el grado de sus sonrisas.!06 

Este es el peligro de las herramientas de reconocimiento emo- 
cional. Como hemos visto, nos devuelven a un pasado frenológico, 
en el que se hicieron aseveraciones falsas que fueron no solo 
permitidas, sino desplegadas para apoyar los sistemas de poder 
existentes. Las décadas de controversias científicas sobre la infe- 
rencia de emociones distintas a partir de rostros humanos subraya 
un punto central: el modelo de reconocimiento “de talla única” 
no es la metáfora correcta para identificar estados emocionales. 
Las emociones son completas y se desarrollan y cambian en rela- 
ción con nuestras familias, amigos, culturas e historias, y todos 
los diferentes contextos que viven fuera del marco de la 1a. En 
muchos casos, los sistemas de detección de emociones no hacen 
lo que aseguran. En lugar de medir directamente los estados 
mentales interiores de las personas, simplemente optimizan esta- 
dísticamente correlaciones de ciertas características físicas entre 


thegatewaypundit.com/2019/07/acial-speech-and-virtual-polygraph-analysis- 
shows-ilhan-omar-exhibits-many-indications-of-a-compulsive-fibber/>. 

106 Lauren Rhue, “Racial Influence on Automated Perceptions of Emo- 
tions", en Social Science Research Network, 9 de noviembre de 2018, dispo- 
nible en línea: <https://dx.doi.org/10.2139/ssrn.3281765>. 


270 ATLAS DE INTELIGENCIA ARTIFICIAL 


imágenes faciales. Las bases científicas de la detección de emo- 
ciones automatizada están puestas en duda y, sin embargo, una 
nueva generación de herramientas emocionales ya está haciendo 
inferencias a través de una gama cada vez más amplia de con- 
textos de alto riesgo, de la vigilancia policial a la contratación. 
A pesar de que la evidencia ahora apunta a la poca fiabilidad 
de la detección emocional, las compañías siguen buscando nuevas 
fuentes de minería para la imaginería facial, compitiendo por lide- 
rar la participación en el mercado de un sector que promete miles 
de millones en beneficios. La revisión sistemática de Barrett de la 
investigación detrás de la inferencia de emociones a partir de los 
rostros de las personas concluye con una nota condenatoria: 


De manera más general, las compañías de tecnología puede que 
se estén haciendo una pregunta que en su esencia está equivo- 
cada. Los esfuerzos por simplemente “leer” los estados internos 
de las personas a partir tan solo de un análisis de sus movimien- 
tos faciales, sin considerar varios aspectos del contexto, son en 
el mejor de los casos insuficientes, y en el peor carecen com- 
pletamente de validez, sin importar cuán sofisticados sean los 
algoritmos computacionales. [...) Resulta prematuro utilizar esta 
tecnología para sacar conclusiones sobre lo que la gente siente 


basándose en sus movimientos faciales.!0 


Hasta que no resistamos el deseo de automatizar el reconoci- 
miento emocional, seguiremos corriendo el riesgo de juzgar de 
manera injusta a postulantes a trabajos porque sus microexpre- 
siones no calzan con las de otros empleados, de que algunos 
estudiantes reciban peores notas que sus pares porque sus caras 


107 Lisa Feldman Barrett ef al, "Emotional Expressions Reconsidered’, op. 
cit, p. 48. 
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indicaban falta de entusiasmo y de que se detenga a algunos 
clientes porque un sistema de 1a los marcó como posibles ladro- 
nes únicamente basándose en sus características faciales.108 Estas 
son las personas que pagarán los costos de tener sistemas que 
no solo son imperfectos técnicamente hablando, sino que ade- 
más están basados en metodologías cuestionables. 

Las áreas de la vida en que estos sistemas operan se están ex- 
pandiendo con la misma velocidad con que los laboratorios y las 
empresas pueden crear nuevos mercados para ellos. Y, sin em- 
bargo, todos dependen de un entendimiento muy limitado de las 
emociones, derivado del conjunto inicial de Ekman de ira, felici- 
dad, sorpresa, asco, tristeza y miedo, que se supone que han de 
representar el universo infinito de sentimientos y expresiones 
humanos a través del espacio y el tiempo. Esto nos lleva de vuelta 
a las profundas limitaciones a la hora de capturar las complejida- 
des del mundo en un solo esquema clasificatorio. Nos devuelve 
al mismo problema que hemos visto repetidamente: el deseo de 
simplificar en extremo lo que resulta obstinadamente complejo 
para computarse y empaquetarse fácilmente para el mercado. Los 
sistemas de 1A están buscando extraer las experiencias mutables, 
privadas y divergentes de nuestros yoes corporales, pero el resul- 
tado es una caricatura que no consigue capturar los matices de 
la experiencia emocional en el mundo. 


108 Véanse, por ejemplo, Neil Connor, “Chinese School Uses Facial Recog- 
nition to Monitor Student Attention in Class”, en Telegraph, 17 de mayo de 
2018, disponible en línea: <https://www.telegraph.co.uk/news/2018/05/17/ 
chinese-school-uses-facial-recognition-monitor-student-attention/>, y Lisa 
Du y Ayaka Maki, “ar Cameras That Can Spot Shoplifters Even before They 
Steal”, en Bloomberg 4 de marzo de 2019, disponible en línea: <https://www. 
bloomberg.com/news/articles/2019-03-04/the-ai-cameras-that-can-spot- 
shoplifters-even-before-they-steal>. 


PEE ETA 


VI. El Estado 


ESTOY SENTADA frente a una computadora portátil air gapped; 
en el décimo piso de un almacén en Nueva York. En la pantalla 
hay un programa de software que se usa por lo general para la 
ciencia forense digital, una herramienta para investigar eviden- 
cia y validar información que se halla en discos duros. Estoy aquí 
para investigar un archivo que contiene algunos de los detalles 
más específicos de cómo empezó a usarse el aprendizaje auto- 
mático en el sector de la inteligencia, dirigido por algunos de los 
gobiernos más ricos del mundo. Se trata del archivo Snowden: 
todos los documentos, las presentaciones de PowerPoint, los 
memorandos internos, los boletines y los manuales técnicos que 
el excontratista de la National Security Agency (Nsa) y delator 
Edward Snowden filtró en 2013. Cada página está marcada con 
un encabezado que señala diferentes tipos de clasificación: TOP 
SECRET // SI // ORCON // NOFORN.! Cada una de ellas es una adver- 
tencia y una designación. 


*Este término no se suele traducir, aunque a veces se los llama “equipos fí- 
sicamente aislados”. Hace referencia a sistemas que no están conectados a otras 
redes para protegerlos de intrusiones potenciales. DN. del T.) 

1 NOFORN es una sigla que en inglés corresponde a “Not Releasable to 
Foreing Nationals” [“No liberable a nacionales extranjeros”]. “Use of the ‘Not 
Releasable to Foreign Nationals’ (YOFORN) Caveat on Department of Defense 
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La cineasta Laura Poitras me dio acceso a este archivo por 
primera vez en 2014. Fue abrumador leerlo: el archivo contenía 
más de una década de consideraciones y comunicaciones de 
inteligencia, incluidos documentos internos de la nsa, de la 
Government Communications Headquarters (GcHQ) y de la red 
internacional de Five Eyes (FVEY).? Este conocimiento estaba 
estrictamente fuera del alcance de quienes no tuvieran una 
autorización de alto nivel. Era parte del “imperio clasificado” de 
la información, que alguna vez se estimó que crecía cinco veces 
más rápido que el conocimiento accesible por el público, aunque 
ahora quién sabe.3 El archivo Snowden captura los años en que 
la recolección de datos hizo metástasis: cuando teléfonos, nave- 
gadores, plataformas de redes sociales y correos electrónicos se 
volvieron, todos, fuentes de datos para el Estado. Los documen- 
tos revelan cuánto contribuyó la comunidad de la inteligencia 
al desarrollo de muchas de las técnicas a las que hoy nos refe- 
rimos como inteligencia artificial (1a). 

El archivo Snowden releva un sector de la 14 paralelo, uno 
desarrollado en secreto. Los métodos comparten muchas simili- 
tudes, pero hay diferencias notables en términos del alcance, los 
objetivos y el resultado. Atrás quedaron todas las construcciones 
retóricas para justificar la extracción y la captura: cualquier sis- 
tema de software se describe simplemente como algo para poseer, 
derrotar; todas las plataformas de datos eran un posible blanco 
y muy pocas cosas estaban designadas como protegidas. Un 
archivo de PowerPoint describe TREASUREMAP [mapa del tesoro], 


(pop) Information”, us Department of Defense, 17 de mayo de 2005, dispo- 
nible en línea: <https://fas.org/sgp/othergov/dod/nofom051705.pdf>. 

2 Five Eyes es una alianza de inteligencia global que incluye a Australia, 
Canadá, Nueva Zelanda, el Reino Unido y Estados Unidos. 

3 Peter Galison, “Removing Knowledge’, en Critical Inquiry, vol. 31, núm. 1, 
2004, p. 229, disponible en linea: <https://doi.org/10.1086/427309>. 
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un programa disefiado para construir un mapa interactivo de 
Internet casi en tiempo real.* Afirma poder rastrear la locación 
y al dueño de cualquier computadora, dispositivo móvil o router 
que esté conectado: “Cartografía todo Internet, cualquier dispo- 
sitivo, en cualquier parte, todo el tiempo”, se jacta la diapositiva. 
Algunas de las diapositivas sobre “TREASUREMAP como facilita- 
dor” ofrecen una imagen por capas de un análisis de señales. 
Sobre la capa geográfica y la de redes está la “capa de imagen 
pública cibernética”, atractivamente representada en la diaposi- 
tiva por iMacs y teléfonos con funciones de Nokia que parecen 
gomitas y, luego, la “capa personal” de conexiones personales. 
Esto se supone que representa a todas las personas que usan 
dispositivos conectados alrededor del mundo, en “una vista de 
Internet de 100 kilómetros”. También se parece notablemente 
al trabajo de compañías de mapeo y manipulación de redes socia- 
les, como Cambridge Analytica. 

Los documentos de Snowden fueron liberados en 2013, pero 
se siguen leyendo como los folletos de marketing de 1a de hoy. 
Si TREASUREMAP fue un precursor de la vista de red cenital de 
Facebook, entonces el programa llamado FOXAcID recuerda al 
Amazon Ring para las computadoras caseras: que graba la acti- 
vidad diaria.* “Si conseguimos que el objetivo nos visite en alguna 
especie de navegador, probablemente podemos apoderarnos de 


“James Risen y Laura Poitras, “NSA Report Outlined Goals for More Power", 
en The New York Times, 22 de noviembre de 2013, disponible en línea: <https:// 
www.nytimes.com/2013/11/23/us/politics/nsa-report-outlined-goals-for- 
more-power.html>, y Andy Miiller-Maguhn et al, “The nsa Breach of Telekom 
and Other German Firms’, en Spiegel, 14 de septiembre de 2014, disponible 
en línea: <https://www.spiegel.de/international/world/snowden-documents- 
indicate-nsa-has-breached-deutsche-telekom-a-991503.html>. 

5 FOXACID es un software desarrollado por la Tailored Access Operations 
(tao), ahora Computer Network Operations (cno), una unidad de la NSA para 
la recopilación de inteligencia para la guerra cibernética. 
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él”, explica la diapositiva.S Una vez que se ha tentado a los indi- 
viduos para que hagan clic en un correo spamo para que visiten 
una página web capturada, la Nsa coloca archivos a través de un 
navegador que estará permanentemente en su dispositivo, repor- 
tando silenciosamente todo lo que hagan. Una diapositiva des- 
cribe la manera en que los analistas “envían correos tan especí- 
ficos” que requieren “un nivel de conocimiento culpable” del 
objetivo.” Rara vez se discuten las restricciones sobre la recopi- 
lación de ese conocimiento culpable por parte de la NSA (al menos 
cuando se trata de datos de ciudadanos estadounidenses). Un 
documento señala que la agencia estaba trabajando en múltiples 
frentes para “buscar agresivamente que haya autoridades lega- 
les y un marco de políticas que se correspondan más plenamente 
con la era de la información”.3 En otras palabras, cambiar las 
leyes para que calcen con las herramientas, y no al revés. 

Las agencias de inteligencia de Estados Unidos son los vie- 
jos guardianes del big data. Junto con la Defense Advanced Re- 
search Projects Agency (DARPA) han sido las mayores impulsoras 
de la investigación de 1a desde la década de 1950. Como el 
historiador científico Paul Edwards describe en The Closed Work, 


SBruce Schneier, “Attacking Tor: How the nsa Targets Users’ Online Ano- 
nymity”, en The Guardian, 4 de octubre de 2013. disponible en línea: <https:// 
www.theguardian.com/world/2013/oct/04/tor-attacks-nsa-users-online- 
anonymity>. Documento disponible en “Nsa Phishing Tactics and Man in 
the Middle Attacks”, en The Intercept (blog), 12 de marzo de 2014, disponible 
en línea: <https://theintercept.com/document/2014/03/12/nsa-phishing- 
tactics-man-middle-attacks/>. 

7 Dan Swinhoe, “What Is Spear Phishing? Why Targeted Email Attacks 
Are So Difficult to Stop”, en cso Online, 21 de enero de 2019, disponible en 
Tínea: <https://www.csoonline.com/article/333461 7/what-is-spear-phishing- 
why-targeted-email-attacks-are-so-difficult-to-stop.htmb>. 

8“A Strategy for Surveillance Powers”, en The New York Times, 23 de febrero 
de 2012, disponible en línea: <https://www.nytimes.com/interactive/2013/11/ 
23/us/politics/23nsa-sigint-strategy-document.html>. 
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las agencias de investigación militares formaron activamente el 
emergente campo que llegaría a ser conocido como 1a desde 
sus primeros días.? La Office of Naval Research, por ejemplo, 
financió en parte el primer Proyecto de Investigación de Verano 
sobre la Inteligencia Artificial en Dartmouth College en 1956.10 
El campo de la IA siempre ha estado fuertemente guiado por el 
apoyo del ejército y, a menudo, por las prioridades militares, desde 
mucho antes de que estuviera claro que la 1a podía ser práctica 
a escala. Como Edwards señala: 


Como era el proyecto con la utilidad menos inmediata y las 
ambiciones de mayor alcance, la 1a llegó a depender en gran 


° Paul N. Edwards, The Closed World. Computers and the Politics of Dis- 
course in Cold War America, Cambridge, MIT Press, 1996. 
10 Ibid. 
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medida y de forma inusual del financiamiento de ARPA. Como 
resultado, ARPA se volvió el patrocinador principal durante los 
primeros veinte años de la investigación de 1a. El antiguo direc- 
tor Robert Sproull concluyó con orgullo que “toda una gene- 
ración de expertos en la computación empezó gracias al finan- 
ciamiento de DARPA” y que “todas las ideas que se incorporan 
ala quinta generación [de computación avanzada] del proyecto 
[de mediados de los ochenta], es decir, inteligencia artificial, 
computación paralela, reconocimiento de voz, programación 
de lenguajes naturales, todo comenzó, en última instancia, a 
partir de investigaciones financiadas por DARPA”.M 


Las prioridades militares de comando y control, automatización 
y vigilancia moldearon profundamente aquello en lo que se 
convertiría la 1a. Las herramientas y los métodos financiados 
por DARPA han marcado el área, incluida la visión artificial, la 
traducción automática y los vehículos autónomos. Pero estos 
métodos técnicos tienen implicaciones más profundas. Infun- 
didos en la lógica general de la 1a, hay ciertos tipos de pensa- 
miento clasificatorio: desde nociones explícitamente orientadas 
al campo de batalla, como la detección de objetivos, recursos 
y anomalías, hasta las categorías más sutiles de alto, mediano y 
bajo riesgo. Estos conceptos de alerta y focalización constante 
impulsarían la investigación de la 1a durante décadas, creando 
marcos epistemológicos que inspirarían tanto a la industria 
como a la academia. 

Desde el punto de vista del Estado, el giro hacia el big data 
y el aprendizaje automático expandió los modos de extracción 
de información que inspiraron la teoría social de que las perso- 
nas pueden ser rastreadas y entendidas: se las conocerá por sus 


1 Paul N. Edwards, op. cit, p. 198. 
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metadatos. Quién recibe un mensaje de texto, qué lugares se 
visitan, qué se lee, cuándo entran en acción los dispositivos y 
por qué motivo; estas acciones moleculares se volvieron una 
imagen para identificar y evaluar amenazas, para asignar culpa- 
bilidad o inocencia. Recopilar y medir grandes conjuntos de 
datos a distancias se volvió la forma preferidf'para desarrollar 
supuestos conocimientos sobre grupos y comunidades, así como 
para evaluar potenciales objetivos para asesinar. La NSA y la GCHQ 
no son únicas: China, Rusia, Israel, Siria y muchos otros países 
tienen agencias similares. Hay muchos sistemas de vigilancia y 
de control de soberanía, una multitud de máquinas de guerra 
que nunca descansan. El archivo Snowden subraya la manera en 
que los actores estatales y corporativos colaboran para producir 
lo que Achille Mbembe llama “la guerra de infraestructura”.!? 
Pero la relación entre los ejércitos nacionales y la industria 
de la 1a se ha expandido más allá de los contextos de la seguri- 
dad. Tecnologías que alguna vez solo estaban disponibles para 
las agencias de inteligencia (y que por diseño eran extralegales) 
se han filtrado hasta las ramas municipales del Estado: las agen- 
cias de gobierno y los organismos de seguridad. Mientras que 
la NSA ha sido un foco de preocupación constante por asuntos 
de privacidad, menos atención se le ha prestado al creciente sec- 
tor comercial de la vigilancia, que publicita agresivamente sus 
herramientas y plataformas entre los departamentos de policía 
y las agencias públicas. La industria de la 1a está simultánea- 
mente desafiando y reformulando el papel tradicional de los 
Estados, a la vez que también se utiliza para apuntalar y expan- 
dir formas viejas de poder geopolítico. El gobierno algorítmico 
a la vez forma parte y excede al gobierno estatal tradicional. 


12 Achille Mbembe, Necropolitics, Durham, Duke University Press, 2019, 
p. 82 [trad. esp.: Necropolitica, Santa Cruz de Tenerife, Melusina, 2011]. 
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Parafraseando al teórico Benjamin Bratton, el Estado está tomando 
el armazón de una máquina porque las máquinas ya han asu- 
mido las funciones y el registro del Estado. 


ALCANZAR LA TERCERA COMPENSACIÓN 


La historia de la creación de Internet se ha centrado en la inno- 
vación y el dominio militares y académicos de Estados Unidos.'4 
Pero en el espacio de la 1a vemos que no hay un sistema nacio- 
nal puro. En cambio, los sistemas de 1a operan dentro de una 
compleja red entrelazada de herramientas, infraestructuras y 
mano de obra multinacional y multilateral. Tomemos, por ejem- 
plo, un sistema de reconocimiento facial que se implementó en 
las calles de Belgrado.!5 El jefe de policía ordenó la instalación 
de dos mil cámaras en ochocientas ubicaciones alrededor de la 
ciudad para capturar rostros y matrículas. El gobierno de Serbia 
firmó un acuerdo con el gigante chino de las telecomunicacio- 
nes Huawei para que este le proporcionara videovigilancia, so- 
porte de red 4 y centros de comando y datos unificados. Tratos 
de este tipo son comunes. Los sistemas locales por lo general 
son híbridos, con infraestructura de China, India, Estados Unidos 
y otras partes, con límites porosos, protocolos de seguridad dife- 
rentes y potenciales puertas traseras de datos. 


13 Benjamin H. Bratton, The Stack. On Software and Sovereignty, Cam- 
i rr Press, 2015, p. 151. ; 

ja un excelente CH de la historia del Internet en Estados Uni- 
dos, véase Janet Abbate, Inventing the Internet, Cambridge, MIT Press, 1999. 

15 SHARE Foundation, “Serbian Government Is Implementing Unlawful 
Video Surveillance with Face Recognition in Belgrade”, informe de políticas, 
s. f, disponible en línea: <https://www.sharefoundation.info/wp-content/ 
uploads/Serbia-Video-Surveillance-Policy-brieffinal pdf>. 
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Pero la retórica alrededor de la inteligencia artificial es mucho 
más cruda: se nos dice una y otra vez que estamos en una gue- 
rra de 1A. Los principales objetos de preocupación son los esfuer- 
zos supernacionales de Estados Unidos y China, con recorda- 
torios constantes de que China ha declarado su compromiso de 
ser el líder global en 14.15 Las prácticas de datc$ de las principa- 
les compañías tecnológicas chinas, incluidas Alibaba, Huawei, 
Tencent y ByteDance, a menudo se enmarcan como políticas 
estatales chinas directas y, por lo tanto, se ven, de manera inhe- 
rente, más amenazantes que actores privados de Estados Unidos 
como Amazon y Facebook, a pesar de que las líneas entre los im- 
perativos estatales y cooperativos y los incentivos están com- 
pletamente entrelazadas, Y, sin embargo, el lenguaje de la gue- 
rra es mucho más que la articulación típica de la xenofobia, la 
sospecha mutua, el espionaje internacional y el hackeo de redes. 
Como los académicos de medios Wendy Chun y Tung-Hui Hu 
han observado, la visión liberal de ciudadanos digitales globales 
interactuando en un espacio abstracto de redes se ha desplazado 
hacia una visión paranoica que defiende una nube nacional 
contra el enemigo racializado.!” El fantasma de una amenaza 
foránea sirve para establecer una especie de poder soberano 

sobre la 1a y rediseñar el lugar de poder de las compañías tec- 

nológicas (que son infraestructuras e influencias transnaciona- 
les) dentro de los límites del Estado-nación. 


16 Department of International Cooperation Ministry of Science and Tech- 
nology, “Next Generation Artificial Intelligence Development Plan”, en China 
Science and Technology Newsletter, núm. 17, 15 de septiembre de 2017, dis- 
ponible en línea: <http://fi.china-embassy.org/eng/kxjs/P02017102578910 
8009001 pdf>. 

17 Wendy Hui Kyong Chun, Control and Freedom. Power and Paranoia 
in the Age of Fiber Optics, Cambridge, mit Press, 2005, y Tung-Hui Hu, A 
Prehistory of the Cloud, Cambridge, mır Press, 2015, pp. 87 y 88. 
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Y, no obstante, la carrera estatizada en pos de la superioridad 
tecnológica es al mismo tiempo retórica y real, creando una diná- 
mica de competencia geopolítica a lo largo y dentro de los sec- 
tores comerciales y militares, difuminando cada vez más las líneas 
entre las dos. El uso dual de aplicaciones de 1a en dominios tanto 
civiles como militares también ha producido fuertes incentivos 
para la colaboración cercana y el financiamiento.'* En Estados 
Unidos, podemos ver que esto se volvió una estrategia explícita: 
buscar el control nacional y el dominio internacional de la 1a 
para asegurarse una ventaja militar y corporativa. 

La última versión de esta estrategia surgió con Ash Carter, 
quien se desempeñó como secretario de Defensa de Estados 
Unidos de 2015 a 2017. Carter jugó un papel importante en el 
acercamiento de Silicon Valley al ejército, al convencer a las 
compañías tecnológicas de que la seguridad nacional y la polí- 
tica exterior dependían de la dominación estadounidense de la 
1a.! Carter llamó a esto la tercera estrategia de compensación. 
En este contexto, una compensación se entiende, por lo general, 
como una manera de subsanar una desventaja militar subya- 
cente al cambiar las condiciones o, como declaró el secretario 
de Defensa Harold Brown en 1981: 


La tecnología puede ser un multiplicador de fuerza, un recurso 
que puede ser usado para ayudar a compensar las ventajas 
numéricas de un adversario. Tener tecnología superior es una 


18 Stephen Cave y Seán ÓhÉigeartaigh, “An ar Race for Strategic Advan- 
tage: Rhetoric and Risks’, en Proceedings of the 2018 saat/acm Conference on 
AL Ethics, and Society, pp. 36-40, disponible en línea: <https://dl.acm.org/ 
doi/10.1145/3278721.3278780>. 

19 John Markoff, “Pentagon Turns to Silicon Valley for Edge in Artificial 
Intelligence”, en The New York Times, 11 de mayo de 2016, disponible en 
linea: <https://www.nytimes.com/2016/05/12/technology/artificial-intelli- 
gence-as-the-pentagons-latest-weapon.html>. 
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de las maneras más efectivas de equilibrar las capacidades mili- 
tares, más allá de emparejar al adversario tanque-por-tanque o 
soldado-por-soldado.?0 


Por lo general, se entiende que la primera compensación fue el 
uso de armas nucleares en los años cincuenta.?La segunda fue 
la expansión de las armas encubiertas, logísticas y convenciona- 
les en los años setenta y ochenta. La tercera, según Carter, tendría 
que ser una combinación de 14, guerra computacional y robots.22 
Pero, a diferencia de la Nsa, que ya contaba con sólidas capaci- 
dades de vigilancia, el ejército de Estados Unidos carecía de los 
recursos, la experiencia y la infraestructura de 1a que sí tenían 
las principales empresas tecnológicas del país.” En 2014, el sub- 


20 Harold Brown, Department of Defense Annual Report: Fiscal Year 1982, 
informe 096066/6, Washington Dc, 19 de enero de 1982, disponible en línea: 
<https://history.defense.gov/Portals/70/Documents/annual_reports/1982_ 
DoD_AR.pdf?ver=2014-06-24-150904-113>. 

21 Robert Martinage, “Toward a New Offset Strategy: Exploiting us Long-Term 
Advantages to Restore us Global Power Projection Capability’, Washington Dc, 
Center for Strategic and Budgetary Assessments, 2014, pp. 5-16, disponible en 
línea: <https://csbaonline.org/uploads/documents/Offset-Strategy-Web.pd£>. 

22 Ash Carter, “Remarks on The Path to an Innovative Future for Defense’ 
(csis Third Offset Strategy Conference)”, Washington Dc, us Department of 
Defense, 28 de octubre de 2016, disponible en línea: <https://www.defense. 
gov/Newsroom/Speeches/Speech/Article/9903 15/remarks-on-the-path-to-an- 
innovative-future-for-defense-csis-third-offset-strat/>, y Cheryl Pellerin, 
“Deputy Secretary: Third Offset Strategy Bolsters America’s Military Deterrence”, 
Washington pc, Us Department of Defense, 31 de octubre de 2016, disponible 
en línea: <https://www.defense.gov/Explore/News/Article/Article/991434/ 
deputy-secretary-third-offset-strategy-bolsters-americas-military-deterrence/>. 

23 Los orígenes de las compensaciones militares estadounidenses se re- 
montan a diciembre de 1952, cuando la Unión Soviética tenía casi diez veces 
más divisiones militares convencionales que Estados Unidos. El presidente 
Dwight Eisenhower recurrió a la disuasión nuclear como una forma de 
“compensar” estos números. La estrategia implicaba no solo la amenaza del 
poder de represalia de las fuerzas nucleares de Estados Unidos, sino también 
la aceleración del crecimiento del arsenal de armas, así como el desarrollo de 
bombarderos a reacción de largo alcance, la bomba de hidrógeno y, final- 
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secretario de Defensa, Robert Work, describió la tercera com- 
pensación como un intento de “explotar todos los avances de la 
inteligencia artificial y la autonomía”?* 

Para construir máquinas de guerra de 1a, el Departamento 
de Defensa necesitaría infraestructuras de extracción gigantes. 
Sin embargo, para acceder a mano de obra de ingeniería alta- 
mente remunerada y plataformas de desarrollo sofisticadas era 
necesario unir esfuerzos con la industria. La NSA había allanado 
el camino con sistemas como PRISM, tanto trabajando en con- 
junto como infiltrándose en compañías de telecomunicaciones 
y tecnología.?5 Pero estos métodos más encubiertos se encon- 
traron con un rechazo político renovado después de las revela- 
ciones de Snowden. El Congreso pasó el USA Freedom Act en 
2015, que introdujo algunas limitaciones al acceso de la Nsa a 


mente, misiles balísticos intercontinentales. También incluía una mayor de- 
pendencia del espionaje, el sabotaje y las operaciones encubiertas. En las 
décadas del setenta y del ochenta, la estrategia militar de Estados Unidos 
se centró en los avances computacionales en análisis y logística, basándose 
en la influencia de arquitectos militares como Robert McNamara para alcan- 
zar la supremacía militar. Este segundo desplazamiento se pudo ver en 
enfrentamientos militares como la Operación Tormenta del Desierto durante 
la Guerra del Golfo en 1991, donde las operaciones de reconocimiento, la 
supresión de las defensas enemigas y las municiones guiadas con precisión 
dominaron la forma en la que Estados Unidos no solo luchó en la guerra, 
sino que también pensó y habló sobre ella. Sin embargo, a medida que Rusia 
y China también comenzaron a adoptar estas capacidades y desplegar redes 
digitales para la guerra, creció la ansiedad por restablecer un nuevo tipo de 
ventaja estratégica. Véase Robert S. McNamara y James G. Blight, Wilson's 
Ghost. Reducing the Risk of Conflict, Killing, and Catastrophe in the 21st 
Century, Nueva York, Public Affairs, 2001. 

24 Cheryl Pellerin, “Deputy Secretary’, op. cit. 

25 Barton Gellman y Laura Poitras, “us, British Intelligence Mining Data 
from Nine us Internet Companies in Broad Secret Program’, en The Washington 
Post, 7 de junio de 2013, disponible en linea: <https://www.washingtonpost. 
com/investigations/us-intelligence-mining-data-from-nine-us-internet-com- 
panies-in-broad-secret-program/2013/06/06/3a0c0da8-cebf-11e2-8845- 
d970ccb04497_story.html>. 
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los datos en tiempo real de Silicon Valley. Aun así, la posibilidad 
de un complejo militar-industrial más grande que se ocupara de 
los datos y la 1A siguió siendo una tentación al alcance de la 
mano. Silicon Valley ya había construido y monetizado la logís- 
tica y las infraestructuras de 14 que se necesitaban para impulsar 
una nueva compensación. Pero antes había ĝue convencer al 
sector tecnológico, sin alienar a sus empleados ni agudizar la 
desconfianza del público, de que valdría la pena asociarse para 
crear una infraestructura de guerra. 


ENTRA EN ESCENA EL PROYECTO MAVEN 


En abril de 2017, el Departamento de Defensa publicó un memo- 
rándum que anunciaba al Equipo Multifuncional de Guerra Algo- 
rítmica, cuyo nombre en código era Proyecto Maven.26 “El Depar- 
tamento de Defensa debe integrar la inteligencia artificial y el 
aprendizaje automático de manera más efectiva a través de las 
operaciones para mantener ventajas sobre adversarios y compe- 
tidores cada vez más capaces”, escribió el subsecretario de Defen- 
sa.27 La meta del programa era llevar rápidamente al campo de 
batalla los mejores sistemas algorítmicos posibles, incluso cuando 
solo estuvieran listos en un 80%.28 Esto era parte de un plan 
mucho más grande, el proyecto de nube Joint Enterprise Defense 
Infrastructure (JEDI), un enorme rediseño de toda la infraestruc- 


26 Deputy Secretary of Defense, “Establishment of an Algorithmic Warfare 
Cross-Functional Team (Project Maven)”, memorándum, 26 de abril de 2017, 
disponible en línea: <https://www.govexec.com/media/gbc/docs/pdfs_edit/ 
establishment_of_the_awcft_project_maven.pdf>. 

27 Ibid. 

28 Arthur Holland Michel, Eyes in the Sky. The Secret Rise of Gorgon Stare 
and How It Will Watch Us All, Boston, Houghton Mifflin Harcourt, 2019, 
p. 134. 
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tura de Tecnologías de la Información (rr, por su sigla en inglés) 
del Departamento de Defensa, desde el Pentágono hasta el soporte 
a nivel de campo. El Proyecto Maven era un pequeño pedazo de 
esta imagen más grande y su meta era crear un sistema de ta 
que permitiera a los analistas seleccionar un objetivo y ver todos 
los clips existentes de imágenes de drones que mostraran a esa 
persona o vehículo? A fin de cuentas, el Departamento de De- 
fensa quería un motor de búsqueda automatizado de videos de 
drones para detectar y rastrear a combatientes enemigos. 

Las plataformas técnicas y las habilidades de aprendizaje 
automático que se necesitaban para el Proyecto Maven se encon- 
traban en el sector tecnológico comercial. El Departamento de 
Defensa pagaría a las compañías tecnológicas para que analiza- 
ran datos militares recolectados de satélites y drones de batalla 
en lugares donde las leyes domésticas de privacidad de Estados 
Unidos no aplicaran. Esto alineaba los intereses financieros del 
ejército y del sector tecnológico estadounidense en torno a la Ta 
sin detonar directamente trampas constitucionales sobre la pri- 
vacidad, como había hecho la nsa. Comenzó una guerra de ofer- 
tas entre las compañías tecnológicas que querían el contrato con 
Maven, incluidas Amazon, Microsoft y Google. 

El primer contrato del Proyecto Maven se lo adjudicó Google. 
Bajo este acuerdo, el Pentágono, usaría la infraestructura de la 
TensorFlow de Google para hacer un barrido a través de las imá- 
genes de drones y detectar objetos e individuos según se movían 
entre distintas ubicaciones. Fei-Fei Li, por entonces científica en 
jefe de Artificial Intelligence y Machine Learning en Google, ya 
era una experta construyendo conjuntos de datos de reconoci- 


29 Arthur Holland Michel, Eyes in the Sky, op. cif, p. 135. 

30 Dell Cameron y Kate Conger, “Google Is Helping the Pentagon Build at 
for Drones’, en Gizmodo, 6 de marzo de 2018, disponible en linea: <https://giz- 
modo.com/google-is-helping-the-pentagon-build-ai-for-drones-1823464533>. 
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Sello oficial del Equipo Multifuncional de Guerra 
Algoritmica. Nombre en cédigo: Proyecto Maven. 
El lema en latín se traduce como “Nuestro trabajo 
es ayudar” Producido por el Departamento 
de Defensa de Estados Unidos. 


miento de objetos debido a su experiencia creando ImageNet y 
usando datos satelitales para detectar y analizar automóviles.*! 
Pero insistía en que el proyecto debía mantenerse en secreto, 
“Eviten A TODA COSTA cualquier mención o implicación de la 14”, 
Li escribió en un correo a sus colegas de Google que fue más tarde 
filtrado. “La 1a armificada es probablemente uno de los temas 
más sensibles de la 1a, si no el que más. Para los medios esto es 
como echarle gasolina al fuego para poder dañar a Google”.32 


31 Por ejemplo, Timnit Gebru et al, “Fine-Grained Car Detection for Visual 
Census Estimation”, en Proceedings of the Thirty-First aaar Conference on 
Artificial Intelligence, asar ‘17, pp. 4502-4508. 

32 Lee Fang, “Leaked Emails Show Google Expected Lucrative Military 
Drone ai Work to Grow Exponentially’, en The Intercept (blog), 31 de mayo 
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Pero en el año 2018 los empleados de Google descubrieron 
el alcance del papel de su compañía en el proyecto. Estaban fu- 
riosos de que su trabajo fuera usado con fines bélicos, sobre todo 
después de que se hiciera público que los objetivos de identifi- 
cación de imágenes del Proyecto Maven incluían vehículos, edi- 
ficios y seres humanos. Más de tres mil cien empleados firma- 
ron una carta de protesta declarando que Google no debería 
inmiscuirse en el negocio de la guerra y exigiendo que se can- 
celara el contrato.4 Bajo una presión creciente, Google terminó 
oficialmente su trabajo en el Proyecto Maven y se retiró de la 
competencia por el contrato JEDI de 10.000 millones de dólares 
del Pentágono. En octubre de ese año, el presidente de Microsoft, 
Brad Smith, anunció en una publicación de blog: “Creemos en 
una fuerte defensa de Estados Unidos y queremos que la gente 
que los defiende tenga acceso a la mejor tecnología de la nación, 
incluida la de Microsoft”.35 El contrato finalmente fue para Micro- 
soft, que superó la oferta de Amazon.* 


de 2018, disponible en linea: <https://theintercept.com/201 8/05/3 1/google- 
leaked-emails-drone-ai-pentagon-lucrative/>. 

23 Mark Bergen, “Pentagon Drone Program Is Using Google ar” en Bloom- 
berg 6 de marzo de 2018, disponible:en línea: <https://www.bloomberg. 
com/news/articles/201 8-03-06/google-ai-used-by-pentagon-drone-program- 
in-rare-military-pilot>. 

34 Scott Shane y Daisuke Wakabayashi, “The Business of War’: Google 
Employees Protest Work for the Pentagon’, en The New York Times, 4 de abril 
de 2018, disponible en linea: <https:/fwww.nytimes.com/2018/04/04/tech- 
nology/google-letter-ceo-pentagon-project.html>. 

35 Brad Smith, “Technology and the us Military”, en Microsoft on the Issues 
(blog), 26 de octubre de 2018, disponible en linea: <https://blogs.microsoft: 
com/on-the-issues/2018/10/26/technology-and-the-us-military/>. 

36 Cuando el contrato de JEDI fue finalmente adjudicado a Microsoft, Brad 
Smith, su presidente, explicó que la razón por la que habían pujado por el 
contrato era que lo habían visto “no solo como una oportunidad de venta 
sino, en realidad, como un proyecto de ingeniería a una muy gran escala”. 
Ashley Stewart y Nicholas Carlson, “The President of Microsoft Says It Took 
Its Bid for the $10 Billion (ep Cloud Deal as an Opportunity to Improve Its 
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Poco después de la sublevación interna, Google lanzó sus 
Principios de Inteligencia Artificial, que incluían una sección 
sobre “Aplicaciones de la 1 a las que no nos dedicaremos”.37 Estas 
incluían hacer “armas u otras tecnologías cuyo propósito o imple- 
mentación principal es causar o directamente facilitar el daño a 
la gente”, así como “tecnologías que recopilan o usen información 
para la vigilancia, violando normas aceptadas internacionalmente”38 
Mientras que este giro hacia la ética de la 1a aplacó algunas 
preocupaciones internas y externas, la aplicabilidad, así como 
los parámetros de la moderación ética, no quedaron claros.32 
Como respuesta, el antiguo CEO de Google, Eric Schmidt, 
calificó el rechazo al Proyecto Maven como “una preocupación 
generalizada en la comunidad tecnológica de que, de alguna 
manera, el complejo militar-industrial va a usar nuestras cosas 
para matar personas incorrectamente, por así decirlo”.4 Este 
desplazamiento, de debatir si había que utilizar la 1a en los con- 


Tech, and That's Why It Beat Amazon’, en Business Insider, 23 de enero de 
2020, disponible en línea: <https://www.businessinsider.com/brad-smith- 
microsofts-jedi-win-over-amazon-was-no-surprise-2020-1>. 

37 Sundar Pichai, “al at Google: Our Principles”, en Google, 7 de junio de 
2018, disponible en línea: <https://blog.google/technology/ai/ai-principles/>. 

38 Ibid. El Proyecto Maven fue posteriormente adquirido por Anduril 
Industries, una hermética empresa tecnológica fundada por Palmer Luckey 
de Oculus Rift. Lee Fang, “Defense Tech Startup Founded by Trump's Most 
Prominent Silicon Valley Supporters Wins Secretive Military Al Contract”, en 
The Intercept (blog), 9 de marzo de 2019, disponible en línea: <https://thein- 
tercept.com/2019/03/09/anduril-industries-project-maven-palmer-hickey/>. 

32 Meredith Whittaker ef al, ar Now Report 2018, en at Now Institute, 
diciembre de 2018, disponible en linea: <https://ainowinstitute.org/AI_ 
Now_2018_Report.pdf>. 

40 Eric Schmidt, cit. en Paul Scharre ef al, "Eric Schmidt Keynote Address 
at the Center for a New American Security Artificial Intelligence and Global 
Security Summit”, en Center for a New American Security, 13 de noviembre 
de 2017, disponible en línea: <https://www.cnas.org/publications/transcript/ 
eric-schmidt-keynote-address-at-the-center-for-a-new-american-security- 
artificial-intelligence-and-global-security-summit>. 
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flictos bélicos a discutir si la 14 podía ayudar a “matar personas 
correctamente”, era bastante estratégico.“ Alejaba el foco en los 
fundamentos éticos de la 14 como una tecnología militar y ponía 
la atención en cuestiones de precisión y exactitud técnica. Pero 
Lucy Suchman argumenta que los problemas con la guerra auto- 
matizada van mucho más allá de si las matanzas son precisas o 
“correctas” Particularmente en el caso de la detección de obje- 
tos, se pregunta Suchman, ¿quién está construyendo los con- 
juntos de datos de entrenamiento, y con qué datos, y cómo se 
etiquetan cosas como una amenaza inminente? ¿Qué tipos de 
taxonomías clasificatorias se están usando para decir lo que 
constituye una actividad lo suficientemente anormal como para 
desencadenar un ataque legal con drones? ¿Y por qué tendríamos 
que tolerar que se atribuyan consecuencias de vida o muerte a 
estas clasificaciones inestables e inherentemente políticas? 

El episodio Maven, así como los principios de la 1a que surgen 
de él, apunta alos profundos cismas en la industria de la 14 cuando 
se trata de la relación entre las esferas militares y civiles. La guerra 
de la 1a, tan real como imaginaria, inculca una política del miedo 
y la inseguridad que crea un clima después utilizado para reprimir 
a la disidencia interna y promover un apoyo incondicional a la 
agenda nacionalista.“ Una vez que el ruido mediático de Maven 
se apagó, el director legal de Google, Kent Walker, dijo que la 
compañía estaba buscando certificaciones de seguridad más ele- 
vadas para poder trabajar más de cerca con el Departamento de 


41 Como ha señalado Lucy Suchman, “matar gente correctamente, bajo 
las leyes de la guerra, requiere el cumplimiento del principio de distinción 
y la identificación de una amenaza inminente”. Lucy Suchman, “Algorithmic 
Warfare and the Reinvention of Accuracy’, en Critical Studies on Security, 
vol. 8, núm. 2, 2020, disponible en línea: <https://doi.org/10.1080/216248 
87.2020.1760587>. 

42 Ibid. 

43 Ibid, 
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Defensa. “Quiero ser claro en esto —dijo—. Somos una compañía 
orgullosa de ser estadounidense”** Al articular el patriotismo como 
política, las compañías tecnológicas se alinean cada vez más con 
los intereses del Estado-nación, incluso cuando sus plataformas 
y capacidades superan a las de un gobierno estatal tradicional. 


a 
EL ESTADO SUBCONTRATADO 


La relación entre el Estado y la industria de la 1a va mucho más 
allá de los ejércitos nacionales. Las tecnologías que alguna vez 
estuvieron reservadas a las zonas de guerra y el espionaje ahora 
son usadas a nivel local de gobierno, desde las agencias de asis- 
tencia social hasta las fuerzas del orden. Este desplazamiento 
ha sido impulsado por la subcontratación de funciones clave 
del Estado a contratistas de la tecnología. A primera vista, esto 
no parece diferir demasiado de la subcontratación típica de fun- 
ciones del gobierno al sector privado a través de compañías como 
Lockheed Martin o Halliburton,* pero ahora las formas milita- 
rizadas de la detección de patrones y evaluación de amenazas 
están entrando en masa en servicios e instituciones que funcio- 
nan a nivel municipal.* Un ejemplo significativo de este fenó- 


“4 Thilo Hagendorff, “The Ethics of A1 Ethics: An Evaluation of Guidelines’, 
en Minds and Machines, vol. 30, 2020, pp. 99-120, disponible en línea: 
<https://doi.org/10.1007/s11023-020-09517-8>. 

45 Joshua Brustein y Mark Bergen, “Google Wants to Do Business with 
the Military - Many of Its Employees Don't”, en Bloomberg, 21 de noviembre 
de 2019, disponible en línea: <https://www.bloomberg.com/features/2019- 
google-military-contract-dilemma/>. 

46 Para una explicación más detallada de por qué las municipalidades 
deberían evaluar con mayor cuidado los riesgos de las plataformas algorít- 
micas, véase Ben Green, The Smart Enough City. Taking Off Our Tech Goggles 
and Reclaiming the Future of Cities, Cambridge, MIT Press, 2019. 
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meno es la compañía que lleva el nombre de las piedras mágicas 
de El señor de los anillos: Palantir. 

Palantir se estableció en 2004, cofundada por el multimi- 
llonario de PayPal Peter Thiel, quien también fue consejero y 
patrocinador del presidente Trump. Thiel argumentaría más 
tarde en un artículo de opinión que la 14 es ante todo una tec- 
nología militar: 


Olvidense de la fantasía de la ciencia ficción; lo que resulta po- 
deroso de la 1a existente es su aplicación en taréas relativamente 
mundanas como la visión artificial y el análisis de datos. Aunque 
son menos misteriosas que el monstruo de Frankenstein, estas 
herramientas son, sin embargo, valiosas para cualquier ejérci- 
to; para ganar una ventaja de inteligencia, por ejemplo. [...] Sin 
duda las herramientas de aprendizaje automático tienen tam- 
bién usos civiles.” 


Si bien Thiel reconoce los usos no militares del aprendizaje auto- 
mático, en particular cree en el espacio intermedio: aquel en el 
que las compañías comerciales producen herramientas de corte 
militar para cualquiera que quiera obtener una ventaja de in- 
teligencia y esté dispuesto a pagar por ella. Tanto él como el CEO 
de Palantir, Alex Karp, describen Palantir como “patriótica”, y Karp 
acusa a las otras empresas de tecnología que rehúsan trabajar 
con las agencias militares de “bordear la cobardia’.** En un pers- 
picaz ensayo, la escritora Moira Weigel estudió la tesis universi- 


47 Peter Thiel, “Good for Google, Bad for America”, en The New York Times, 
1° de agosto de 2019, disponible en línea: <https://www.nytimes.com/2019/ 
08/01/opinion/peter-thiel-google html>. 

48 Michael Steinberger, “Does Palantir See Too Much?”, en The New York 
Times Magazine, 21 de octubre de 2020, disponible en linea: <https://www. 
nytimes.com/interactive/2020/10/21 /magazine/palantir-alex-karp.html>. 
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taria de Karp, que reveló sus tempranos intereses intelectuales 
en la agresión y una creencia en que “el deseo de cometer vio- 
lencia es un hecho constante fundamental de la vida humana"? 
La tesis se Karp se titulaba “Agresión en el mundo de la vida”. 
Los primeros clientes de Palantir eran agencias federales mili- 
tares y de inteligencia, incluidos el Departament de Defensa, la 
NSA, el Federal Bureau of Investigation (FBI), y la Central Intelli- 
gence Agency (c1a).%% Como fue revelado en una investigación 
de Mijente, después de que Trump asumiera la presidencia, los 
contratos de Palantir con agencias de Estados Unidos ascendían 
a más de mil millones de dólares.5! Pero Palantir no se presentaba 
como el típico contratista de defensa, siguiendo el molde de 
Lockheed Martin. Adoptó la personalidad de una startup de Sili- 
con Valley, con sede en Palo Alto, que empleaba predominante- 
mente ingenieros jóvenes, además de estar respaldada por In-Q- 
Tel, la firma de capitales de riesgo fundada por la cia. Además 
de sus primeros clientes de las agencias de inteligencia, Palantir 
comenzó a trabajar con fondos de cobertura, bancos y empresas 
como Walmart.*? Pero su ADN había tomado forma trabajando 


49 Moira Weigel, “Palantir goes to the Frankfurt School’, en Boundary 2 (blog), 
10 de julio de 2020, disponible en línea: <https://www.boundary2.org/2020/07/ 
moira-weigel-palantir-goes-to-the-frankfurt-school/>. 

50 Ken Dilanian, “us Special Operations Forces Are Clamoring to Use 
Software from Silicon Valley Company Palantir”, en Business Insider, 26 de 
marzo de 2015, disponible en línea: <https://www.businessinsider.com/us- 
special-operations-forces-are-clamoring-to-use-software-from-silicon-valley- 
company-palantir-2015-3>. 

51 “The War against Immigrants: Trump's Tech Tools Powered by Palantir”, 
en Mijente, agosto de 2019, disponible en linea: <https://mijente.net/wp- 
content/uploads/2019/08/Mijente-The-War-Against-Immigrants_-Trumps- 
Tech-Tools-Powered-by-Palantir_.pdf>. 

52 William Alden, “Inside Palantir, Silicon Valley's Most Secretive Com- 
pany”, en Buzzfeed News, 6 de mayo de 2016, disponible en línea: <https:// 
www.buzzfeednews.com/article/williamalden/inside-palantir-silicon-valleys- 
most-secretive-company>. 
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para (y desde dentro de) la comunidad de defensa. Puso en prác- 
tica los mismos métodos que se ven en los documentos de Snow- 
den, incluida la extracción de datos a través de dispositivos y la 
infiltración de redes para rastrear y evaluar personas y objetivos, 
Palantir se volvió muy pronto el proveedor subcontratado de vigi- 
lancia por excelencia, lo que lo llevó a diseñar las bases de datos 
y el software de gestión para impulsar la mecánica de deportación 
del Immigration and Customs Enforcement (Ick). 

El modelo de negocio de Palantir se basa en una combina- 
ción de análisis de datos y detección de patrones usando el 
aprendizaje automático, combinado con consultorías más gené- 
ricas. Palantir envía ingenieros a una compañía, de donde extrae 
una amplia variedad de datos (correos electrónicos, registros de 
llamadas, redes sociales, la hora de entrada y salida de los em- 
pleados, las horas en que compran pasajes de vuelo, todo lo que 
la compañía esté preparada para compartir) y, luego, busca por 
patrones y aconseja sobre los siguientes pasos a dar. Uno de los 
métodos más comunes es el de buscar a los llamados malos 
actores, reales o potenciales: empleados descontentos que podrían 
filtrar información o estafar a la empresa. La cosmovisión sub- 
yacente a las herramientas de Palantir recuerda a la de la Nsa: 
recolectarlo todo y, después, buscar anomalías en los datos. Sin 
embargo, mientras que las herramientas de la Nsa están cons- 
truidas para vigilar y atacar a los enemigos del Estado, ya sea 
en conflictos bélicos convencionales o encubiertos, el método 
de Palantir está dirigido a los civiles. Como fue descrito en una 
investigación a gran escala de Bloomberg, en 2018, Palantir es 
“una plataforma de inteligencia diseñada para la guerra contra 
el terrorismo global” que está siendo “armificada contra civiles 
comunes en suelo estadounidense”: 


53 William Alden, “Inside Palantir...”, op. cit. 
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Palantir se abrió paso trabajando para el Pentágono y la cia 
en Afganistán e Irak. [...] El Departamento de Salud y de Ser- 
vicios Humanos de Estados Unidos se sirve de Palantir para 
detectar fraudes al seguro de salud. El FBI lo usa en investi- 
gaciones criminales. El Departamento de Seguridad Nacional 
lo usa para controlar a los viajeros aéreos y estar pendiente 
de los inmigrantes." 


En poco tiempo, la tarea de estar atento a los trabajadores indo- 
cumentados evolucionó hacia capturar personas en colegios y 
lugares de trabajo para deportarlas. Para promover este objetivo, 
Palantir produjo una aplicación para el teléfono llamada FALCON, 
que funciona como una gran red policial, recolectando datos de 
muchas bases de datos públicas y policiales que enumeran ante- 
cedentes de inmigración, relaciones familiares, información la- 
boral y detalles de la educación de las personas. En 2018, agen- 
tes de ICE usaron FALCON para guiar sus redadas a más de cien 
supermercados 7-Eleven a lo largo de Estados Unidos, en lo que 
se llamó “la operación más grande contra un único empleador 
en la era Trump Sp 

A pesar de los esfuerzos de Palantir por mantener en secreto 
lo que construye y el funcionamiento de sus sistemas, sus soli- 
citudes de patentes nos dan una idea de la relación de la compa- 


54 Peter Waldman, Lizette Chapman y Jordan Robertson, “Palantir Knows 
Everything about You”, en Bloomberg, 19 de abril de 2018, disponible en 
línea: <https://www.bloomberg.com/features/2018-palantir-peter-thiel/>. 

5 George Joseph, “Data Company Directly Powers Immigration Raids in 
Workplace”, en wNYG, 16 de julio de 2019, disponible en línea: <https://www. 
wnyc.org/story/palantir-directly-powers-ice-workplace-raids-emails-show/>, 
y Eillie Anzilotti, “Emails Show That 1ce Uses Palantir Technology to Detain 
Undocumented Immigrants”, en Fast Company (blog), 16 de julio de 2019, 
disponible en línea: <https://www.fastcompany.com/90377603/1CE-uses- 
palantir-tech-to-detain-immigrants-wnyc-report>. 
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fifa con la 1a para fines de deportación. En una aplicación llamada 
inocuamente Sistemas de bases de datos e interfaces de usuario 
para el análisis e identificación de imágenes móviles dinámicas 
e interactivas, Palantir se jacta de la capacidad de la aplicación de 
fotografiar personas en encuentros breves e, independientemente 
de si están o no bajo sospecha, comparar su imagen con todas 
las bases de datos disponibles. En esencia, el sistema usa recono- 
cimiento facial y un procesamiento de fondo para crear un marco 
en el cual sustentar cualquier arresto o deportación. 
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de la Oficina de Patentes y Marcas 
Registradas de Estados Unidos. 
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Si bien los sistemas de Palantir tienen similitudes estructurales 
con los de la nsa, se han transferido al nivel de la comunidad 
local para venderse por igual en cadenas de supermercados y 
fuerzas del orden público. Esto representa un desplazamiento 
de la vigilancia policial tradicional hacia objetivos asociados por 
lo general con infraestructuras militares de inteligencia. Como 
explica el profesor de derecho Andrew Ferguson: “Estamos avan- 
zando hacia un estado en el que los fiscales y la policía van a 
decir el algoritmo me dijo que lo hiciera, así que lo hice; no sabía 
lo que estaba haciendo” Y esto va a suceder en un nivel gene- 
ralizado con muy poca fiscalización”.56 

La socióloga Sarah Brayne fue una de las primeras académi- 
cas en observar directamente el uso de las plataformas de datos 
de Palantir in situ, específicamente por el Departamento de Poli- 
cía de Los Ángeles. Después de acompañar durante más de dos 
años a los policías en sus patrullajes, observarlos en sus escrito- 
rios y llevar a cabo múltiples entrevistas, Brayne concluyó que 
en algunos dominios estas herramientas simplemente amplifican 
prácticas policiales anteriores, pero de otras maneras están trans- 
formando por completo el proceso de vigilancia. En pocas pala- 
bras, los policías se están transformando en agentes de vigilancia: 


El giro de la vigilancia tradicional a la del big data se asocia con 
la migración de operaciones policiales a las actividades de inte- 
ligencia. La distinción básica entre la policía y la inteligencia 
es la siguiente: la policía, por lo general, se involucra cuando un 
incidente criminal ha ocurrido. Legalmente, la policía no puede 
llevar a cabo una búsqueda y recolectar información personal 
hasta que haya una causa probable. La inteligencia, por el con- 
trario, es fundamentalmente predictiva. Las actividades de inte- 


56 Andrew Ferguson, conversación con la autora, 21 de junio de 2019. 
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ligencia incluyen recopilar datos, identificar patrones, ubica- 
ciones, actividades e individuos sospechosos, e intervenir de 
forma preventiva en función de la inteligencia adquirida.” 


Aunque todo el mundo está sujeto a este tipo de vigilancia, 
algunas personas son más proclives que otras: los inmigrantes, 
los indocumentados, los pobres y las comunidades de color. 
Como ha mostrado Brayne en su estudio, el uso del software de 
Palantir reproduce la desigualdad y somete a quienes pertenecen 
alos barrios predominantemente pobres, negros y latinos a una 
vigilancia todavía más grande. El sistema de puntos de Palantir 
le otorga un aura de objetividad: se trata “solo de matemáticas”, 
como dijo uno de los oficiales de policía. Pero crea un bucle de 
lógica que se perpetúa a sí mismo.53 Brayne escribe: 


A pesar de la intención declarada del sistema de puntos de 
evitar los sesgos legalmente imputables en las prácticas poli- 
ciales, este esconde sesgos intencionales y no intencionales de 
la práctica policial, y crea un ciclo que se perpetúa a sí mismo: 
silos individuos tienen un alto puntaje, están bajo una vigilan- 
cia intensificada y, por lo tanto, tienen más probabilidades de 


87 Sarah Brayne, "Big Data Surveillance: The Case of Policing’, en Ameri- 
can Sociological Review, vol. 82, núm. 5, 2017, pp. 977-1008, disponible en 
línea: <https://doi.org/10.1177/0003122417725865>. Brayne también señala 
que la migración de las fuerzas del orden a la inteligencia se estaba produ- 
ciendo incluso antes del giro a la analítica predictiva, debido a decisiones 
judiciales como Terry contra Ohio y Whren contra Estados Unidos, lo que 
facilitó a las fuerzas del orden eludir la causa probable y produjo una pro- 

iferación de detenciones con esa excusa. 
RE Richardson, Jason M. Schultz y Kate Crawford, “Dirty Data, Bad 
Predictions: How Civil Rights Violations Impact Police Data, Predictive Poli- 
cing Systems, and Justice”, en NYU Law Review Online, vol. 94, mim. 15, SC 
pp. 15-55, disponible en línea: <https://www.nyulawreview.org/wp-content 
uploads/2019/04/. 'NYULawReview-94-Richardson-Schultz-Crawford.pdf>. 
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ser detenidos, lo que a su vez aumenta su puntaje. Tales prác- 

ticas dificultan la capacidad de los individuos que ya están en 

el sistema de justicia penal de escapar de la red de vigilancia, 

a la vez que oscurecen el papel de estas acciones para configu- 

rar las puntuaciones de riesgo.52 

: a 

Los métodos de aprendizaje automático de Palantir y otros de su 
índole pueden llevar a un bucle de retroalimentación, donde 
resulta más probable que aquellos que ya han sido incluidos en 
una base de datos de justicia criminal sean vigilados y, por lo 
tanto, que se tenga más información sobre ellos, lo que termina 
justificando que estén sometidos a un mayor escrutinio policial.6° 
La desigualdad no solo se profundiza, sino que además se la 
somete a un lavado tecnológico, justificado por los sistemas que 
parecen inmunes al error, pero que de hecho están intensificando 
el problema de la vigilancia excesiva y sesgada racialmente.5! 
Los modelos de inteligencia que comenzaron su andar en las 
agencias nacionales de gobierno se han vuelto ahora parte de 
la vigilancia de barrios locales. La “Nsaficacién” de los departa- 
mentos de policía exacerba la desigualdad histórica y transforma 
y expande radicalmente las prácticas de trabajo policial. 

A pesar de la expansión masiva de los contratos guberna- 
mentales para los sistemas de 1A, se ha prestado poca atención 
ala pregunta de si los proveedores privados de estas tecnologías 
deberían ser responsables legales por los daños producidos 


59 Sarah Brayne, “Big Data Surveillance”, op. cit, p. 997. 

© Ibid. 

61 Véase, por ejemplo, Martin A. French y Simone A. Browne, “Surveillance 
as Social Regulation: Profiles and Profiling Technology”, en Deborah R. Brock, 
Amanda Glasbeek y Carmela Murdocca (eds.), Criminalization, Representa- 
tion, Regulation. Thinking Differently about Crime, North York, University of 
Toronto Press, 2014, pp. 251-284. 
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cuando los gobiernos usan sus sistemas. Dada la frecuencia con 
que los gobiernos están recurriendo a subcontratistas para que 
les proporcionen las arquitecturas algorítmicas para la toma 
de decisiones del Estado, ya sea para sistemas de vigilancia o de 
beneficencia, se podría argumentar que se debería hacer res- 
ponsables a los contratistas tecnológicos como Palantir por la 
discriminación y otras violaciones. Actualmente, la mayoría de 
los Estados niegan cualquier responsabilidad por problemas 
creados por los sistemas de 1a que han adquirido, con el argu- 
mento de que “no podemos ser responsables por algo que no 
entendemos”. Esto quiere decir que los sistemas comerciales 
algorítmicos están contribuyendo al proceso de toma de deci- 
siones del gobierno sin que haya mecanismos significativos que 
rindan cuentas. Junto con el académico legal Jason Schultz, he 
argúido que los programadores de sistemas de 14 que influyen 
directamente las decisiones gubernamentales deberían consi- 
derarse actores estatales a efectos de su responsabilidad cons- 
titucional en ciertos contextos. Es decir, deberían poder con- 
siderarse legalmente responsables por daños, de la misma 
manera que lo pueden ser los Estados. Hasta que esto no ocurra, 
los proveedores y contratistas tendrán pocos incentivos para 
asegurarse de que sus sistemas no.están reforzando daños his- 
tóricos o creando otros completamente nuevos. 

Otro ejemplo de este fenómeno es Vigilant Solutions, esta- 
blecida en 2005. La compañía trabaja en función de una sola 


62 Kate Crawford y Jason Schultz, “ar Systems as State Actors”, en Colum- 
bia Law Review, vol. 119, núm. 7, 2019, disponible en línea: <https://colum- 
bialawreview.org/content/ai-systems-as-state-actors/>. 

$3 Julie E. Cohen, Between Truth and Power. The Legal Constructions of 
Informational Capitalism, Nueva York, Oxford University Press, 2019, y Ryan 
Calo y Danielle Citron, “The Automated Administrative State: A Crisis of 
Legitimacy’, en Emory Law Journal, 9 de marzo de 2020, disponible en linea: 
<https://ssrn.com/abstract=3553590>. 
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premisa: tomar herramientas de vigilancia que requeririan super- 
visión judicial si fueran operadas por gobiernos y convertirlas 
en una próspera empresa privada que opera fuera de los límites 
constitucionales de la privacidad. Vigilant comenzó a operar en 
múltiples ciudades a lo largo de Estados Unidos, instalando 
cámaras de reconocimiento automático de matrículas (ALPR, por 
su sigla en inglés), colocándolas por todas partes, en automóvi- 
les y postes de luz, en estacionamientos y edificios de departa- 
mentos. Este despliegue de cámaras conectadas a una red foto- 
grafía cada auto que pasa y guarda imágenes de matrículas en 
una base de datos masiva y perpetua. Vigilant vende después 
el acceso a esa base de datos a la policía, investigadores privados, 
bancos, aseguradoras y otros que quieran tener acceso a ella. Si 
los oficiales de policía quieren rastrear un automóvil por todo 
el estado y marcar cada lugar en el que ha estado, Vigilant les 
puede proporcionar eso. Del mismo modo, si un banco quisiera 
embargar un automóvil, por un precio Vigilant podría decirles 
dónde está. 

Con sede en California, Vigilant se promociona a sí misma 
como “una de esas confiables herramientas para luchar contra el 
crimen que buscan ayudar a las fuerzas del orden a juntar pistas 
y resolver crímenes más rápido”, y se ha asociado con una serie 
de gobiernos de Texas, California y Georgia para proporcionarles 
a sus policías un paquete de sistemas ALPR para que lo utilicen 
cuando patrullen, junto con el acceso a la base de datos de Vigi- 
lant. A cambio de esto, los gobiernos locales le dan a Vigilant 
los registros de las Órdenes de arresto pendientes y de los aran- 
celes judiciales vencidos. Cualquier matrícula marcada para que 


64“Vigilant Solutions”, en ncra, disponible en línea: <http://www.ncpa.us/ 
Vendors/Vigilant%20Solutions>, y Peter Maass y Beryl Lipton, “What We 
Learned” en MuckRock, 15 de noviembre de 2018, disponible en línea: <https:// 
www.muckrock.com/news/archives/2018/nov/15/alpr-what-we-learned/>. 
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coincida con aquellas asociadas a multas pendientes en la base 
de datos se ingresa en los sistemas móviles de los oficiales de 
policía y los altera para que detengan a esos conductores. A estos 
se les dan dos opciones: pagar en ese momento la multa pendiente 
o ser arrestados. Además de quedarse con un recargo de un 25%, 
Vigilant se queda los registros de cada lectura de matrícula y 
extrae esos datos para añadirlos a sus bases de datos masivas. 

Vigilant firmó un importante contrato con ICE que le dio 
acceso a la agencia a cinco mil millones de registros de matri- 
culas reunidos por empresas privadas, además de mil quinientos 
millones de datos que aportaron 85 agencias policiales a lo largo 
de Estados Unidos (que incluía información sobre el lugar en el 
que trabajaban y vivían las personas). Estos datos pueden pro- 
venir de acuerdos informales entre la policía local e ICE, y es 
posible que infrinjan las leyes estatales de intercambio de datos. 
Las propias políticas privadas de 1CE limitan la recolección de 
datos cerca de “ubicaciones sensibles”, como escuelas, iglesias 
y durante manifestaciones. Pero, en este caso, ICE no reúne los 
datos o mantiene la base de datos: la agencia simplemente com- 
pra acceso a los sistemas de Vigilant, que tienen mucho menos 
restricciones. Esto es una privatización de facto de la vigilancia 
pública, una difuminación de la línea que separa a los contra- 
tistas privados de las entidades estatales y crea formas opacas 
de recolección de datos que existerifuera de las pautas de pro- 
tección tradicionales.*5 

Desde entonces Vigilant ha expandido su caja de herramien- 
tas “para resolver crímenes” más allá de lectores de matrículas para 


incluir otros que aseguran reconocer rostros. Con ello, Vigilant. 


65 Lily Hay Newman, “Internal Docs Show How ICE Gets Surveillance Help 
From Local Cops”, en Wired, 13 de marzo de 2019, disponible en línea: <https:// 
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busca representar rostros humanos como el equivalente a las 
matrículas y alimentar con ellos la ecología policial. Como una 
red de detectives privados, Vigilant crea una visión cenital de 
las rutas y las carreteras entrecruzadas de Estados Unidos, junto 
con todos los que viajan a través de ellas, mientras permanece más 
allá de cualquier forma significativa de regulación o rendición 
de cuentas. 7 

Si pasamos de la patrulla policial al porche delantero de una 
casa vemos todavía otra ubicación en la que las diferencias entre 
las prácticas de datos del sector público y privado están teniendo 
impacto. Una nueva generación de aplicaciones de redes socia- 
les para reportar crímenes, como Neighbors, Citizen y Nextdoor, 
permite a los usuarios recibir alertas sobre incidentes locales 
reportados en tiempo real, luego discutirlos, así como transmitir, 
compartir y etiquetar imágenes de cámaras de seguridad. Neigh- 
bors, que fue creada por Amazon y depende de sus cámaras 
Ring colocadas en los timbres de las casas, se define a sí misma 
como la “nueva policía vecinal” y clasifica sus registros filmicos 
en categorías como “crimen”, “sospechoso” o “extraño”. A menudo 
se comparten los videos con la policía.58 En estos ecosistemas 
de vigilancia residencial se unen las lógicas detrás de TREASURE- 
MAP y FOXACID, pero en estos casos conectadas al hogar, la calle 
y todos los espacios intermedios. 


$6 Rachel England, “UK Police's Facial Recognition System Has an 81 Per- 
cent Error Rate”, en Engadget 4 de julio de 2019, disponible en línea: <https:// 
www.engadget.com/2019/07/04/uk-met-facial-recognition-failure-rate/>. 

$7 James C. Scott, Seeing Like a State. How Certain Schemes to Improve the 
Human Condition Have Failed, New Haven, Yale University Press, 1998 [trad. 
esp.: Lo que ve el Estado. Cómo ciertos esquemas para mejorar la condición 
humana han fracasado, México, Fondo de Cultura Económica, 2021]. 

$8 Caroline Haskins, “How Ring Transmits Fear to American Suburbs" en 
Vice (blog), 12 de julio de 2019, disponible en línea: <https://www.vice.com/ 
en/article/ywaa57/how-ring-transmits-fear-to-american-suburbs>. 


306 ATLAS DE INTELIGENCIA ARTIFICIAL 


Para Amazon, cada nuevo dispositivo Ring vendido ayuda a 
construir todavía más conjuntos de datos de entrenamiento a gran 
escala, dentro y fuera del hogar, con la lógica clasificatoria del com- 
portamiento normal y anómalo alineado con la lógica del campo 
de batalla de aliados y enemigos. Un ejemplo es una función en 
la que los usuarios pueden reportar paquetes de Amazon robados. 
De acuerdo con una investigación periodística, muchas de las 
publicaciones incluían comentarios racistas y los videos subidos 
mostraban desproporcionadamente a gente de color como los 
ladrones potenciales.5? Más allá de reportar crímenes, Ring tam- 
bién se usa para reportar a los empleados de Amazon que se 
considera que están rindiendo mal en el trabajo, como por ejem- 
plo los que no sean cuidadosos con los paquetes, lo que crea 
una nueva capa de vigilancia laboral y castigo.” 

Para completar su infraestructura público-privada de vigi- 
lancia, Amazon ha ofrecido perseverantemente su sistema Ring 
alos departamentos de policía, dándoles descuentos y ofrecién- 
doles un portal que les permite ver dónde están ubicadas las 
cámaras en un área local y contactar informal y directamente a 
los dueños de casa para pedirles filmaciones sin necesidad de 
una orden judicial?! Amazon ha negociado asociaciones para 
compartir videos de Ring con más de seiscientos departamentos 
de policia.” 


69 Caroline Haskins, “AmazorYs Home Security Company Is Tuming Every- 
one into Cops", en Vice (blog), 7 de febrero de 2019, disponible en línea: 
<https://www.vice.com/en_us/article/qvyvzd/amazons-home-security-com- 
pany-is-turning-everyone-into-cops>. 

70 Ibid, 

71 Caroline Haskins, “Amazon Requires Police to Shill Surveillance Came- 
ras in Secret Agreement’, en Vice (blog), 25 de julio de 2019, disponible en 
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to-shill-surveillance-cameras-in-secret-agreement>. 

72 Caroline Haskins, “Amazon Is Coaching Cops on How to Obtain Surveil- 
lance Footage without a Warrant’, en Vice (blog), 5 de agosto de 2019, dispo- 
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En un caso, Amazon negocié un memorando de entendi- 
miento con un departamento de policia en Florida que fue puesto 
al descubierto por medio de una solicitud de registros públicos 
presentada por la periodista Caroline Haskins, que demostró 
que la policía estaba incentivada para promover la aplicación 
Neighbors y que, por cada descarga comprobada, recibiría cré- 
dito para recibir cámaras Ring gratis.73 El resultado fue una “red 
de vigilancia que se perpetúa a si misma: entre más gente descarga 
Neighbors, más gente recibe Ring, proliferan las filmaciones de 
vigilancia y la policía puede solicitar todo lo que quiera” escribe 
Haskins.” Las capacidades de vigilancia, que alguna vez fueron 
supervisadas por las cortes, ahora están en oferta en la tienda de 
Apple y son promovidas por la policía local. Como el académico 
de medios Tung-Hui Hu ha observado, al usar estas aplicaciones 
nos “hemos vuelto los trabajadores freelance del aparato de segu- 
ridad del Estado”?5 

Hu argumenta que la selección de objetivos, una idea milita- 
rista por excelencia en todas sus formas, debería considerarse en 
su conjunto un sistema de poder interconectado, desde la publi- 
cidad dirigida hasta la vigilancia de vecinos sospechosos y los 
drones. “No podemos simplemente considerar una de estas formas 
de focalización por sí sola, separada de las otras; unidas por la so- 
beranía de los datos, nos llaman a entender de forma distinta el 
poder en la era de la nube”. Las formas de ver que alguna vez 
fueron territorio exclusivo de las agencias de inteligencia se han 
ido granulando y dispersando a través de muchos sistemas socia- 


nible en línea: <https://www.vice.com/en_us/article/43kga3/amazon-is-coa- 
ching-cops-on-how-to-obtain-surveillance-footage-without-a-warrant>. 

73 Ibid. 

74 Ibid. 

7 Tung-Hui Hu, A Prehistory of the Cloud, op. cit, p. 11. 
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les, encajadas en lugares de trabajo, hogares y automóviles y 
promovidas por compañías tecnológicas que viven en los espa- 
cios entrecruzados que se superponen a los sectores de 1a comer- 
ciales y militares. 


DEL PUNTAJE CREDITICIO DE LOS TERRORISTAS 
AL PUNTAJE CREDITICIO SOCIAL 


Detrás de la lógica militar de la selección de objetos, se esconde 
la idea de la firma. Hacia el final del segundo mandato del pre- 
sidente George W. Bush, la cia argumentó que debería ser capaz 
de lanzar ataques con drones basándose tan solo en el “patrón de 
comportamiento” o “firma” observado en un individuo.” Mien- 
tras que un “ataque selectivo” involucra apuntar a un individuo 
específico, un “ataque por firma” es cuando una persona muere 
debido a su firma de metadatos; en otras palabras, su identidad 
no se conoce, pero los datos sugieren que podria ser terrorista.” 
Como mostraban los documentos de Snowden, durante la admi- 
nistración de Obama el programa global de vigilancia de meta- 
datos de la nsa geolocalizaba una tarjeta sim o el teléfono de 
un sospechoso y, entonces, el ejército de Estados Unidos llevaba 
a cabo ataques con drones para matar al individuo en posesión 
del dispositivo”? “Matamos gente basándonos en metadatos”, 


77 Kristina Benson, “Kill Em and Sort It Out Later’: Signature Drone Strikes 
and International Humanitarian Law, en Pacific McGeorge Global Business 
and Development Law Journal, vol. 27, núm. 1, 2014, p. 17. 

78 Lisa Hajjar, "Lawfare and Armed Conflicts: A Comparative Analysis of 
Israeli and us Targeted Killing Policies”, en Lisa Parks y Caren Kaplan (eds.), 
Life in the Age of Drone Warfare, Durham, Duke University Press, 2017, p. 70. 

79 Jeremy Scahill y Glenn Greenwald, “The Nsa’s Secret Role in the us 
Assassination Program’, en The Intercept (blog), 10 de febrero de 2014, dispo- 
nible en linea: <https://theintercept.com/2014/02/10/the-nsas-secret-role/>. 
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dijo el general Michael Hayden, antiguo director de la NSA y la 
cIa.50 La división Geo Cell de la Nsa aparentemente usaba un 
lenguaje más colorido: “Nosotros los rastreamos, ustedes les 
sueltan el trancazo”.31 

Puede que los ataques por firma suenen precisos y autoriza- 
dos, lo que implica una marca real de la identidad de alguien. 
Pero, en el año 2014, la organización legal Reprieve publicó un 
informe que demostraba que unos ataques con drones programa- 
dos para matar a 41 individuos dieron como resultado la muerte 
de un estimado de 1.147 personas. “Se le ha vendido al público 
la idea de que los ataques con drones son ‘precisos’. Pero son tan 
precisos como la inteligencia con que se los alimenta”, dijo Jenni- 
fer Gibson, que dirigió el informe.*? Pero la forma de un ataque 
por firma no tiene que ver con la precisión: se trata de correlación. 
Una vez que se encuentra un patrón en los datos y este alcanza 
un umbral, la sospecha se vuelve suficiente para tomar medidas 
incluso en ausencia de pruebas definitivas. Esta manera de adju- 
dicación por medio de reconocimiento de patrones se encuentra 
en muchos dominios... sobre todo en forma de puntajes. 

Consideremos un ejemplo de la crisis de refugiados sirios 
de 2015. Millones de personas estaban escapando de una guerra 
civil generalizada y de la ocupación enemiga, con la esperanza 


80 David Cole, “We Kill People Based on Metadata”, en The New York Review 
of Books, 10 de mayo de 2014, disponible en línea: <https://www.nybooks. 
com/daily/2014/05/10/we-kill-people-based-metadata/>. 

81 Dana Priest, “Nsa Growth Fueled by Need to Target Terrorists", en The 
Washington Post, 21 de julio de 2013, disponible en linea: <https://www. 
washingtonpost.com/world/national-security/nsa-growth-fueled-by-need- 
to-target-terrorists/2013/07/21/24c93cf4-f0b1-11e2-bed3-b9b6fe264871_ 
story.htmi>. 

82Jennifer Gibson, cit. en Spencer Ackerman, “41 Men Targeted but 1.147 
People Killed: us Drone Strikes - the Facts on the Ground", en The Guardian, 
24 de noviembre de 2014, disponible en línea: <https://www.theguardian. 
com/us-news/201 4/now/24/-sp-us-drone-strikes-kill-1147>. 
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de encontrar asilo en Europa. Los refugiados arriesgaban sus 
vidas en balsas y botes abarrotados. El 2 de septiembre un niño 
de tres años llamado Alan Kurdi se ahogó en el Mar Mediterraneo; 
junto con su hermano de cinco años, cuando su bote naufragó. 
Una fotografía que mostraba su cuerpo varado en las costas de 
Turquía fue titular en los medios internacionales y se volvió un 
poderoso símbolo de la extensión de la crisis humanitaria: una 
imagen que representaba el sufrimiento total. Pero algunos vie- 
ron esto como una amenaza creciente. Es por esta época que se 
contactó a IBM por un nuevo proyecto. ¿Podía la compañía usar 
su plataforma de aprendizaje automático para detectar la firma 
de datos de los refugiados que pudieran estar relacionados con 
el yihadismo? En otras palabras, ¿podía 18M distinguir automá- 
ticamente a un terrorista de un refugiado? 

Andrew Borene, un ejecutivo de iniciativas estratégicas de 
IBM, describió la lógica detrás del programa de la publicación 
militar Defense One: 


Nuestro equipo mundial, algunos jóvenes en Europa, recibían 
comentarios sobre cierta preocupación que estaba surgiendo 
debido a que, dentro de estos grupos hambrientos y abatidos que 
buscaban asilo, parecía haber algunos sujetos en edad de com- 
batir, que salían de los botes y tenían aspectos muy saludables. 
¿Era esta una razón para preocuparse, teniendo en cuenta a 1515? 
Y si era ese el caso, ¿podía resultar útil este tipo de solución?83 


Desde la distancia segura de sus oficinas corporativas, los cien- 
tíficos de datos de IBM veían este problema como uno que se 


83 Patrick Tucker, “Refugee or Terrorist? IBM Thinks Its Software Has the 
Answer", en Defense One, 27 de enero de 2016, disponible en linea: <https:// 
www.defenseone.com/technology/2016/01/refugee-or-terrorist-ibm-thinks- 
its-software-has-answer/125484/>, 
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podía abordar mejor mediante la extracción de datos y el aná- 
lisis de redes sociales. Dejando de lado las muchas variables que 
existían en las condiciones de los improvisados campamentos 
de refugiados y las docenas de suposiciones usadas para clasi- 
ficar el comportamiento terrorista, IBM creó un “puntaje credi- 
ticio terrorista” para separar a los combatientes de Isis de los re- 
fugiados. Los analistas recolectaron una miscelánea de datos no 
estructurados, desde Twitter hasta la lista oficial de los que se 
habían ahogado junto a los muchos barcos que habían naufra- 
gado en las costas de Grecia y Turquía. También crearon un 
conjunto de datos, modelados en los tipos de metadatos dispo- 
nibles para custodiar fronteras. A partir de estas medidas dispa- 
res desarrollaron un puntaje hipotético de amenaza: no un indi- 
cador absoluto de inocencia o culpabilidad, según señalaron, 
sino un profundo “conocimiento” sobre el individuo, que incluía 
antiguas direcciones, lugares de trabajo y conexiones sociales äi 
Mientras tanto, los refugiados sirios ignoraban que sus datos 
personales eran recolectados para poner a prueba un sistema 
que podía señalarlos como terroristas potenciales. 

Este es solo uno de los muchos casos en que nuevos sistemas 
técnicos de control estatal usan los cuerpos de los refugiados 
como casos de prueba. Estas lógicas militares y de vigilancia es- 
tán ahora impregnadas con una forma de financiación: los mo- 
delos sociales de solvencia han entrado en muchos sistemas de 
14, influyéndolo todo, desde la capacidad de conseguir un prés- 
tamo hasta el permiso para cruzar fronteras. Cientos de plata- 
formas semejantes se usan ahora alrededor del mundo, de China 
a Venezuela y a Estados Unidos, premiando formas predetermi- 
nadas de comportamiento social y penalizando aquellas que se 


84 Ibid. 
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desvían.£5 Este "nuevo régimen de clasificación social morali: 
zada”, en palabras de los sociólogos Marion Fourcade y Kieran 
Healy, beneficia a los “grandes triunfadores” de la economía tra: 
dicional a la vez que aumenta las desventajas de las poblaciones 
menos privilegiadas. La calificación crediticia, en el sentido más 
amplio, se ha vuelto un sitio en el que convergen las firmas mi- 
litares y comerciales. 

Esta lógica de puntuación de la 1a está profundamente entre- 
lazada con la aplicación de la ley y el control de las fronteras, 
dominios tradicionales del Estado, pero también conforma otra 
función estatal: el acceso a los beneficios públicos. Como la poli- 
tóloga Virginia Eubanks demuestra en su libro La automatización 
de la desigualdad, cuando se despliegan los sistemas de 14 como 
parte del estado de bienestar, se utilizan principalmente como una 
forma de vigilar, evaluar y restringir el acceso de la gente a 
recursos públicos, más que para proporcionar mayor apoyo.” 

Un ejemplo clave de esta dinámica surgió cuando el antiguo 
gobernador republicano de Michigan, Rick Snyder, antiguamente 
presidente de la compañía de hardware Gateway, puso en función 
dos programas de austeridad impulsados por algoritmos, en un 
intento por socavar la seguridad económica de sus ciudadanos 
más pobres bajo el auspicio de recortes presupuestarios estata- 
les. Primero ordenó que se usara un algoritmo de comparación 


85 Cathy O'Neil, Weapons of Math Destruction. How Big Data Increases 
mequality snd eg Nueva York, Crown, 2016, pp. 288-326 
[trad. esp.: Armas de destrucción matemática. Cómo el big data aumenta la 
desigualdad y amenaza la democracia, Madrid, Capitán Swing, 2018). E 

86 Marion Fourcade y Kieran Healy, “Seeing Like a Market”, en Socio- 
Economic Review, vol. 15, núm. 1, 2016, p. 13, disponible en linea: <https:// 

iorg/10.1093/ser/mww033>. 
ee viens Eubanks, Automating Inequality. How High-Tech Tools Profile, 
Police, and Punish the Poor, Nueva York, St. Martin’s, 2017 [trad. esp.: La 
automatización de la desigualdad. Herramientas de tecnología avanzada 
para supervisor y castigar a los pobres, Madrid, Capitán Swing, 2021]. 


EN 


GEES 


asian 


EL ESTADO 313 


para implementar la política estatal del “delincuente fugitivo”, 
que buscaba descalificar automáticamente de la asistencia ali- 
mentaria a los individuos que tuvieran órdenes judiciales pen- 
dientes. Entre los años 2012 y 2015, el nuevo sistema emparejó 
erróneamente a más de diecinueve mil residentes de Michigan 
y los descalificó automáticamente a todos de racibir asistencia 
alimentaria.8 
El segundo esquema se llamaba Michigan Integrated Data 

Automated System (mipas), un sistema construido para “roboad- 
judicar” y castigar a aquellos que determinara que estuvieran 
estafando al seguro de desempleo del Estado. miDAs estaba dise- 
ñado para tratar cualquier discrepancia o inconsistencia en los 
datos de un individuo como potencial evidencia de conducta 
ilegal. El sistema identificó erróneamente a más de cuarenta mil 
residentes de Michigan como sospechosos de fraude. Las con- 
secuencias fueron severas: incautación de la devolución de 

impuestos, embargo de salarios y la imposición de sanciones 
civiles que eran cuatro veces superiores a la deuda que las per- 
sonas tenían. Al final, los dos sistemas fueron unos enormes 

fracasos financieros que le costaron a Michigan mucho más 

dinero del ahorrado. Los perjudicados consiguieron demandar 

con éxito al Estado por estos sistemas, pero no antes de que mi- 

les de personas se vieran afectadas, muchas de ellas declaradas 
en bancarrota.39 

Considerando el contexto más amplio de los sistemas de Ia 

dirigidos por el Estado, uno puede ver la lógica consistente entre 
focalizarse en terroristas o trabajadores indocumentados y hacerlo 


88 Rashida Richardson, Jason M. Schultz y Vincent M. Southerland, “Liti- 
gating Algorithms: 2019 us Report”, en at Now Institute, septiembre de 2019, 
p- 19, disponible en línea: <https://ainowinstitute.org/litigatingalgorithms- 
2019-us.pdf>. 

89 Ibid, p. 23. 
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en delincuentes fugitivos o sospechosos de fraude. A pesar de 
que la asistencia alimentaria y los beneficios de desempleo se 
crearon para ayudar alos pobres y promover la estabilidad social 
y económica, el uso de sistemas militares de comando y control 
con el propósito de castigar y excluir socavan las metas princi- 
pales de los sistemas. En esencia, estos sistemas son punitivos, 
están diseñados siguiendo un modelo de focalización de las 
amenazas. Los motivos de la puntuación y el riesgo han per- 
meado las estructuras de la burocracia estatal, y los sistemas de 
decisión automatizados que son imaginados en esas institucio- 
nes han transmitido profundamente esa lógica a las formas en 
que se imaginan, evalúan, puntúan y atienden las comunidades 
y los individuos. 


EL PAJAR ENREDADO 


Estoy casi al final de un día revisando el archivo Snowden cuando 
me encuentro con una diapositiva que describe al planeta como 
un “pajar de información” en el que la información deseada se 
pierde como aguja en un pajar. Incluye una alegre imagen de 
clip art de un pajar gigante en un, campo con un cielo azul en 
lo alto. Este cliché de la recolección de información es táctico: 
el heno se corta por el bien de la granja, se recolecta para pro- 
ducir valor. Esto invoca una reconfortante imagen pastoril de la 
agricultura de datos, que cuida los campos para impulsar ciclos 
más ordenados de extracción y producción. Phil Agre señaló en 
una ocasión que “la tecnología actual es filosofía encubierta; el 
punto es volverla abiertamente filosófica"? La filosofía aquí es 


soPhilip E. Agre, Computation and Human Experience, Cambridge, Cam- 
bridge University Press, 1997, p. 240. 
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que los datos deberían extraerse globalmente y estructurarse 
para mantener la hegemonía de Estados Unidos. Pero hemos 
visto cómo, bajo escrutinio, estas narrativas se derrumban. 

Las redes superpuestas de la computación planetaria respon- 
den a complejas y cruzadas lógicas corporativas y estatales, que 
exceden con mucho los límites tradicionales de las fronteras esta- 
tales y los de gobernanza, y son bastante más desordenadas de 
lo que pudiera implicar la idea de que el ganador se lo lleva todo. 
Como ha argumentado Benjamin Bratton: 


El armazón de la computación a escala planetaria tiene una 
lógica determinante que es autorreafirmante, si no autocum- 
plida, y a través de la automatización de sus propias operacio- 
nes infraestructurales termina superando cualquier diseño 
nacional, incluso cuando se utiliza en su nombre.?! 


La idea ultranacionalista de la 1a soberana contenida de forma 
segura dentro de las fronteras nacionales es un mito. La infraes- 
tructura de la 14 ya es un híbrido y, como argumenta Hu, también 
lo es la fuerza laboral que la sustenta, desde los trabajadores de 
las fábricas de China que hacen componentes electrónicos hasta 
los programadores rusos que proveen mano de obra en la nube 
y los trabajadores freelance de Marruecos que filtran contenido y 
etiquetan imágenes. 

En conjunto, la 14 y los sistemas algorítmicos que utiliza el 
Estado, desde el ejército hasta los municipios, revelan una filo- 
sofía encubierta de comando y control infraestructural en masa, 
por medio de una combinación de técnicas de extracción de 
datos, lógica de focalización y vigilancia. Estas metas han sido 


>: Benjamin H. Bratton, The Stack, op. cit, p. 140. 
2 Tung-Hui Hu, A Prehistory of the Cloud, op. cit, p. 89. 
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centrales para las agencias de vigilancia durante décadas, pero 
ahora se han expandido a muchas otras funciones estatales, 
desde el orden público local hasta la distribución de benefi- 
cios.” Esto es apenas una parte de la profunda mezcla de lógj- 
‘cas estatales, municipales y corporativas en la computación 
planetaria extractiva. Pero se trata de un negocio incómodo: los 
Estados hacen tratos con las compañías tecnológicas que no 
pueden controlar ni entender del todo y las compañías tecno- 
lógicas asumen funciones estatales y extraestatales que no están 
capacitadas para llevar a cabo y por las que, en algún momento 
del futuro, podrían ser obligadas a rendir cuentas. 

El archivo Snowden muestra hasta dónde se extienden estás 
lógicas de vigilancia superpuestas y contradictorias. Un docu- 
mento señala los síntomas de lo que un empleado de la Nsa 
describió como adicción al punto de vista cenital que los datos 
parecen ofrecer: 


Los alpinistas le llaman a este fenómeno “fiebre de la cima": 
cuando un “individuo se obsesiona tanto con llegar a la cumbre 
que todo lo demás desaparece de su conciencia”. Creo que los 
que trabajan con la inteligencia de señales, como los escalado- 
res de clase mundial, no son inmunes a la fiebre de la cima. Es 
bastante fácil perder de vista el mal clima y seguir adelante sin 
descanso, especialmente después de haber invertido muchísimo 
dinero, tiempo y recursos en algo. 


93 Ellen Nakashima y Joby Warrick, “For NSA Chief, Terrorist Threat Drives 
Passion to ‘Collect It All”, en The Washington Post, 14 de julio de 2013, 
disponible en linea: <https://www.washingtonpost.com/world/national- 
security/for-nsa-chief-terrorist-threat-drives-passion-to-collect-it-all/201 3/ 
07/14/3d26ef80-ea49-11e2-a301-ea5a8116d211_story.html>. 

%4 Documento disponible en Peter Maass, “Summit Fever”, en The Intercept 
(blog), 25 de junio de 2012, disponible en línea: <https://www.document- 
cloud.org/documents/2088979-summit-feverhtml>. 
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Todo el dinero y los recursos usados en esta vigilancia implaca- 
ble son parte del sueño febril de un control centralizado que se 
ha hecho real a costa de otras visiones de organización social. 
Las revelaciones de Snowden fueron un punto de inflexión que 
reveló cuán lejos puede llegar una cultura de extracción cuando 
el Estado y el sector comercial colaboran, pero las diagramas de 
red y el clip artdel PowerPoint resultan casi pintorescos cuando 
se los compara con todo lo que ha sucedido desde entonces.25 
Los métodos y las herramientas distintivos de la Nsa se han 
filtrado a los salones de clase, las estaciones de policía, los luga- 
res de trabajo y las oficinas de desempleo. Es el resultado de 
inversiones enormes, de formas de privatización de facto y de la 
titularización del riesgo y el miedo. El profundo enredo de hoy 
de diferentes formas de poder era precisamente lo que se espe- 
raba de la tercera compensación. Se ha retorcido mucho más 
allá del objetivo de la ventaja estratégica en las operaciones del 
campo de batalla para abarcar también todas esas partes de la 
vida cotidiana que se pueden rastrear y puntuar, ancladas en 
definiciones normativas sobre la manera en que los buenos ciu- 
dadanos deberían comunicarse, comportarse y gastar su dinero. 
Este cambio trae consigo una visión distinta de la soberanía 
estatal, modulada por una gobernanza algorítmica corporativa, 
y fomenta el profundo desequilibrio de poder entre los agentes 
del Estado y las personas a las que están destinados a servir. 


95 El futuro del archivo Snowden en sí es incierto. En marzo de 2019, se 
anunció que Intercept (la publicación que Glenn Greenwald estableció con 
Laura Poitras y Jeremy Scahill después de que compartieran el Premio Pulit- 
zer por sus informes sobre los materiales de Snowden) ya no lo financiaría. 


Conclusión. El poder 


UI 


LA INTELIGENCIA ARTIFICIAL (14) no es una técnica computacio- 
nal neutral que tome determinaciones sin una dirección humana. 
Sus sistemas están integrados en mundos sociales, políticos, cul- 
turales y económicos, delineados por humanos, instituciones e 
imperativos que determinan lo que hacen y cómo lo hacen. Están 
diseñados para discriminar, amplificar jerarquías y codificar cla- 
sificaciones estrechas. Cuando son aplicadas en contextos socia- 
les como la vigilaricia policial, el sistema judicial, la salud y la 
educación, pueden reproducir, optimizar y amplificar las des- 
igualdades estructurales existentes. Esto no es casual. Los siste- 
mas de la están construidos para ver e intervenir en el mundo 
de maneras que benefician principalmente a los Estados, las 
instituciones y las corporaciones a los que sirven. En ese sentido, 
los sistemas de 1a son expresiones de poder que surgen de fuer- 
zas económicas y políticas más amplias, creadas para aumentar 
las ganancias y centralizar los poderes de quienes las esgrimen. 
Pero la historia de la 1a no se suele contar de esta manera. 

Las descripciones estándar de la 1a a menudo se centran en 
una especie de excepcionalismo algorítmico: la idea de que, de- 
bido a que los sistemas de 14 pueden realizar asombrosas hazañas 
de cálculo, deben ser más inteligentes y objetivos que sus imper- 
fectos creadores humanos. Consideremos el diagrama de AlphaGo 
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Conocimiento de Go aprendido por AlphaGo Zero. 
Cortesia de DeepMind. 


Zero, un programa de 14 diseñado por DeepMind de Google para 
jugar juegos de estrategia.! La imagen muestra cómo “aprendió” 
a jugar el juego de estrategia chino Go después de evaluar más 
de mil opciones por jugada. En el artículo que anuncia este desa- 
rrollo los autores escriben: “Empezando de cero, nuestro nuevo 
programa AlphaGo Zero logró un rendimiento sobrehumano”? 
El cofundador de DeepMind, Demis Hassabis, ha descrito estos 
motores de juego como similares a una inteligencia extraterres- 
tre: “No juega como un ser humano, pero tampoco juega como 
los motores de computadora. Juega como una tercera manera, 


1David Silver ef al, “Mastering the Game of Go without Human Knowledge’, 
en Nature, vol. 550, 2017, pp. 354-359, disponible en linea: <https://doi. 
org/10.1038/nature24270>. 

2 Ibid, p. 357. 
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casi extraterrestre. [...] Es como el ajedrez de otra dimensión”3 
Cuando la siguiente versión dominó Go en tres dias, Hassabis lo 
describió como “redescubrir tres mil años de conocimiento 
humano ¡en setenta y dos horas!"* 

El diagrama de Go no muestra máquinas, ni trabajadores 
humanos, ni inversión de capital, ni huella de aarbono; solo un 
sistema abstracto basado en reglas y dotado de habilidades so- 
brenaturales. Los relatos de magia y mistificación se repiten a 
lo largo de la historia de la 1a, dibujando círculos brillantes 
alrededor de demostraciones espectaculares de velocidad, efi- 
ciencia y razonamiento computacional. No es ninguna coinci- 
dencia que uno de los ejemplos icónicos de la 14 sea un juego. 


JUEGOS SIN FRONTERAS 


Desde los años cincuenta, los juegos han sido el campo de prue- 
bas preferido para los programas de 1a.‘ A diferencia de la vida 


3 Charla completa en The Artificial Intelligence Channel, “Demis Hassa- 
bis, DeepMind - Learning from First Principles - Artificial Intelligence NIPS 
2017”. Véase también Will Knight, “Alpha Zero's ‘Alien’ Chess Shows the 
Power and the Peculiarity, of ar”, en mir Technology Review, 8 de diciembre 
de 2017, disponible en línea: <https://www.technologyreview.com/s/609736/ 
alpha-zeros-alien-chess-shows-the-power-and-the-peculiarity-of-ai/>. 

4“Demis Hassabis, DeepMind - Learning from First Principles - Artificial 
Intelligence N1Ps2017”, video, 9 de diciembre de 2017, disponible en línea: 
<https://youtu.be/DXNgYSNvnja>. 

5 Para ver más sobre los mitos de la “magia” en la 14, Madeline Clare Elish 
y danah boyd, “Situating Methods in the Magic of Big Data and ar”, en 
Communication Monographs, vol. 85, núm. 1, 2018, pp. 57-80, disponible 
en línea: <https://doi.org/10.1080/03637751.2017.1375130>. 

$ Meredith Broussard señala que se ha equiparado peligrosamente el 
jugar juegos con la inteligencia. Cita al programador George V. Neville-Neil, 
que sostiene: “Hemos tenido casi cincuenta afios de competencias entre 
humanos y computadoras, pero ésignifica eso que alguna de esas compu- 
tadoras es inteligente? No, por dos razones. La primera es que el ajedrez no 
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diaria, los juegos ofrecen un mundo cerrado con parámetros 
definidos y condiciones claras para ganar o perder. Las raíces 
históricas de la 1a en la Segunda Guerra Mundial derivaron de 
la investigación financiada por el ejército para el procesamiento 
y la optimización de señales, lo que buscaba simplificar el mundo, 
representándolo más como un juego de estrategia. Surgió un 
fuerte énfasis en la racionalización y la predicción, junto con la 
fe en que los formalismos matemáticos nos ayudarían a enten- 
der a los seres humanos y a la sociedad.” La creencia de que las 
predicciones precisas consisten fundamentalménte en reducir 
la complejidad del mundo dio pie a una teoría implícita de lo 
social: encuentra la señal en el ruido y ordena el desorden. 

El achatamiento epistemológico de la complejidad en seña- 
les limpias con el propósito de hacer predicciones es ahora una 
de las lógicas centrales del aprendizaje automático. Con el his- 
toriador de tecnología Alex Campolo, hemos llamado a esto de- 
terminismo encantado: los sistemas de 1A se ven como algo en- 
cantado, que está más allá del mundo conocido y, sin embargo, 
determinista en el sentido de que descubren patrones que se 
pueden aplicar con una certeza predictiva a la vida diaria. En 


es una prueba de inteligencia; es la prueba de una habilidad en particular: 
la habilidad de jugar ajedrez. Si yo pudiera derrotar a un Gran Maestro 
jugando al ajedrez y, al mismo tiempo, fuera incapaz de pasarte la sal en la 
mesa, ¿sería alguien inteligente? La segunda razón es que pensar que el 
ajedrez era una prueba de inteligencia se basaba en una falsa premisa cul- 
tural: que los jugadores de ajedrez tenían mentes brillantes, estaban más 
dotados que los demás. Sí, mucha gente inteligente destaca al jugar ajedrez, 
pero el ajedrez, o cualquier otra habilidad en sí misma, no denota inteligen- 
cia”. Meredith Broussard, Artificial Unintelligence: How Computers Misun- 
derstand the World, Cambridge, mrt Press, 2018, p. 206. 

7 Peter Galison, “The Ontology of the Enemy: Norbert Wiener and the 
Cybernetic Vision”, en Critical Inquiry, vol. 21, núm. 1, 1994, pp. 228-266. 

8 Alexander Campolo y Kate Crawford, “Enchanted Determinism: Power 
without Responsibility in Artificial Intelligence”, en Engaging Science, Tech- 
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las discusiones sobre sistemas de aprendizaje profundo, en los 
que se extienden las técnicas de aprendizaje automático super- 
poniendo representaciones abstractas de capas de datos, el 
determinismo encantado adquiere una cualidad prácticamente 
teológica. El hecho de que los métodos de aprendizaje profundo 
a menudo no puedan ser interpretados, inclusospor los propios 
ingenieros que los crearon, les da a estos sistemas el aura de 
ser demasiado complejos para ser regulados y demasiado pode- 
rosos para no utilizarlos. Como ha observado el antropólogo 
social Frederick G. Bailey, la técnica de “oscurecer mistificando” 
se usa a menudo en escenarios públicos para argumentar a 
favor de la inevitabilidad del fenómeno. Se nos dice que nos 
concentremos en la naturaleza innovadora del método más que 
en algo que resulta primordial: el propósito de la cosa misma. 
Más que nada, el determinismo encantado oscurece el poder y 
clausura las discusiones informadas, el escrutinio crítico o el 
rechazo absoluto del público. 

El determinismo encantado tiene dos ramas dominantes, 
espejo la una de la otra. La primera es un tipo de utopismo tec- 
nológico que ofrece intervenciones computacionales como si 
fueran soluciones universales que se pueden aplicar a cualquier 
problema. La segunda es una perspectiva distópica que culpa a 
los algoritmos de los resultados negativos, como si estos fueran 
agentes independientes que no lidian con los contextos que les 
dan forma y en los que operan. En un extremo, el relato de una 
distopía tecnológica encuentra su fin en la singularidad o super- 
inteligencia: la teoría de que podría surgir una máquina inteli- 


nology, and Society, vol. 6, 2020, pp. 1-19, disponible en línea: <https://doi. 
org/10.17351/ests2020.277>. 

9 Frederick G. Bailey, “Dimensions of Rhetoric in Conditions of Uncer- 
tainty’, en Robert Paine (ed.), Politically Speaking: Cross-Cultural Studies of 
Rhetoric, Philadelphia, rent Press, 1981, p. 30. 
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gente que finalmente dominará o destruirá a los humanos.!* Esta 
noción rara vez toma en cuenta la realidad de que muchas per- 
sonas alrededor del mundo ya están dominadas por sistemas 
extractivos de computación planetaria. 
Estos discursos distópicos y utópicos son gemelos metafísi- 
cos: uno pone su fe en la 1a como si fuera la solución a todos 
los problemas y el otro teme ala 1a como el mayor peligro. Cada 
uno ofrece una visión profundamente ahistórica que ubica el 
poder exclusivamente dentro de la tecnología misma. Ya sea que 
la 1A se entienda en abstracto como una herramienta multiusos 
o un jefe supremo todopoderoso, el resultado es un determi- 
nismo tecnológico. La 1a ocupa una posición central en la reden- 
ción o la ruina de la sociedad, lo que nos permite ignorar las 
fuerzas sistémicas de un neoliberalismo desatado, políticas de 
austeridad, desigualdad racial y explotación sostenida de la mano 
de obra. Tanto los utópicos como los distópicos de la tecnología 
centralizan su lugar al hablar de ella y la expanden a cada rincón 
de la vida, desconectada de las formas de poder a las que mag- 
nifica y sirve. 

Cuando AlphaGo derrota a un gran maestro humano, es 
tentador imaginar que ha llegado una inteligencia de otro 
mundo. Pero hay una explicación mucho más simple y precisa, 
Los motores de juego de la 14 están diseñados para jugar millo- 
nes de juegos, ejecutar análisis estadísticos para optimizar los 
resultados y, luego, jugar millones de juegos más. Estos progra- 
mas producen movimientos sorprendentes que no son comunes 
en los juegos humanos por una sencilla razón: pueden jugar y 
analizar muchos más juegos a una velocidad mucho mayor que 
cualquier ser humano. Esto no es magia; es un análisis estadís- 


10 Nick Bostrom, Superintelligence. Paths, Dangers, Strategies, Oxford, 
Oxford University Press, 2014. 
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tico a escala. Y, sin embargo, persisten los cuentos de máquinas 
inteligentes sobrenaturales.!! Una y otra vez, vemos presente la 
ideología del dualismo cartesiano en la 1a: la fantasía de que los 
sistemas de 1a son cerebros incorpóreos que absorben y produ- 
cen conocimiento independientemente de sus creadores, infraes- 
tructuras y del mundo en general. Estas ilusiones distraen de 
las preguntas mucho más relevantes: ¿a quiénes sirven estos 
sistemas?, ¿cuáles son las economías políticas responsables de 


su construcción?, y ¿cuáles son las consecuencias planetarias 
más amplias? 


LOS CANALES DE LA INTELIGENCIA ARTIFICIAL 


Consideremos una ilustración distinta de la 1a: los planos para 
el primer centro de datos propio operado por Google, en The 
Dalles, Oregon. Representa tres edificios de 6.400 metros cuadra- 
dos, una instalación enorme que, en el año 2008, se estimó que 
usaba energía suficiente para abastecer a 82.000 casas o a una 
ciudad del tamaño de Tacoma, Washington.’? El centro de datos 
ahora se extiende a lo largo de la ribera del río Columbia, desde 
donde saca la electricidad más barata del norte de Estados Uni- 
dos. Los grupos de presión de Google negociaron durante seis 
meses con los funcionarios locales para conseguir un trato que 
incluyera exenciones de impuestos, garantías de electricidad 
barata y acceso al anillo de fibra óptica construido por la ciudad. 
A diferencia de la visión abstracta de un juego de Go, este plan 
de ingeniería revela lo mucho que la visión técnica de Google 


1 Ibid. 
12 Ginger Gail Strand, “Keyword: Evil’, en Harpers Magazine, marzo de 


2008, pp. 64 y 65, disponible en línea: <https:/, i 
era np ttps://harpers.org/archive/2008/03/ 
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Planos del centro de datos de Google. 
Cortesía de Harper's. 


depende de los servicios públicos, incluida la red de gas, el alcan- 
tarillado y las líneas de alto voltaje por las que fluye una elec- 
tricidad que se obtiene con descuento. En palabras de la escritora 
Ginger Strand: “A través de la infraestructura de la ciudad, las 
devoluciones del Estado y el poder subsidiado federalmente, 
nosotros financiamos YouTube”. 

Estos planos nos recuerdan cuánto de la expansión de la 
industria de la inteligencia artificial ha sido subsidiada por el 
público: desde el financiamiento del Departamento de Defensa 
y de las agencias federales de investigación hasta los servicios 
públicos y las exenciones fiscales, a los datos y la mano de obra 
no remunerada que se extraen del uso de motores de búsqueda 
o de la publicación de imágenes en línea. La 1a empezó como 


13 Ginger Gail Strand, “Keyword: Evil’, op. cit. 
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uno de los grandes proyectos públicos del siglo xx y se fue pri- 
vatizando implacablemente para producir enormes ganancias 
financieras para la minúscula minoría que está en la parte más 
alta de la pirámide de la extracción. 

Estos diagramas presentan dos maneras distintas de entender 
cómo funciona la 14. He argumentado que hay mucho en juego 
a la hora de definir la 1a, sus límites y quiénes los determinan: 
hacerlo le dará forma a lo que puede verse y enjuiciarse. El dia- 
grama Go nos habla de los relatos que hace la industria acerca 
de una nube computacional abstracta, alejada de los recursos 
terrenales que se necesitan para producirla, un paradigma en el 
que se idolatra la innovación técnica, se rechaza la regulación y 
los costos verdaderos nunca se revelan. Los planos dirigen nues- 
tra atención a la infraestructura física, pero dejan fuera las impli- 
caciones ambientales y los tratos políticos que la hicieron posible. 
Estos relatos parciales de la 1a representan lo que los filósofos 
Michael Hardt y Antonio Negri llaman “la operación dual de 
abstracción y extracción" en el capitalismo de la información: 
abstraer las condiciones materiales de la producción mientras 
se extrae más información y recursos.!* La descripción de la 14 
como algo en esencia abstracto la aleja de la energía, la mano de 
obra y el capital que se necesitan para producirla, así como de los 
muchos tipos de minería que la hacen posible. 

Este libro ha explorado la infraestructura planetaria de la 1a 
como una industria de extracción: desde su génesis material, pa- 
sando por la economía política de sus operaciones, hasta los dis- 
cursos que alimentan el aura de su inmaterialidad e inevitabilidad. 
Hemos visto las políticas inherentes en las maneras en que los 
sistemas de 14 están entrenados para reconocer el mundo. Y hemos 


14 Michael Hardt y Antonio Negri, Assembly, Nueva York, Oxford Univer- 
sity Press, 2017, p. 116 (el énfasis me pertenece). 


E ed 


330 ATLAS DE INTELIGENCIA ARTIFICIAL 


observado las formas sistemáticas de desigualdad que hacen de 
la 14 lo que es hoy en dia. El tema central es el profundo entrela- 
zamiento de la tecnología, el capital y el poder, del cual la 1a es 
la última manifestación. En lugar de ser inescrutables y marcianos, 
estos sistemas son el producto de estructuras sociales y econó- 
micas que conllevan profundas consecuencias materiales. 


EL MAPA NO ES EL TERRITORIO 


¿Cómo podemos ver el ciclo completo de la vida de la inteligen- 
cia artificial y las dinámicas de poder que lo impulsan? Tenemos 
que ir más allá de los mapas convencionales de la 1a para loca- 
tizarlo en un paisaje más amplio. Los atlas pueden provocar un 
cambio de escala, para ver cómo se unen los espacios entre si. 
Este libro propone que lo que en realidad está en juego al hablar 
de 1a son los sistemas interconectados de extracción y poder, 
no los imaginarios tecnocráticos de la artificialidad, la abstrac- 
ción y la automatización. Para entender la 1a por lo que es, 
necesitamos ver las estructuras de poder a las que sirve. 

La 1a nace de las lagunas saladas de Bolivia y las minas en 
el Congo, construida a partir de conjuntos de datos etiquetados 
por crowdsourcing que buscan clasificar acciones, emociones e 
identidades humanas. Se usa para maniobrar drones sobre 
Yemen, dirigir a la policía de inmigraciones en Estados Unidos 
y modular puntajes crediticios sobre los valores y los riesgos de 
la vida humana a lo largo del mundo. Se necesita una perspec- 
tiva gran angular y multiescalar para hacer frente a estos regi- 
menes solapados. 

Este libro empezó bajo tierra, donde la política extractiva 
de la inteligencia artificial se vuelve literal. Minerales de tierras 
raras, agua, carbón y petróleo: el sector tecnológico excava en 


CONCLUSIÓN 331 


la tierra para alimentar sus infraestructuras de alto consumo 
energético. El sector tecnológico, que está expandiendo las redes 
de sus centros de datos y ayudando a la industria del petróleo 
y el gas a localizar y vaciar las reservas restantes de combustibles 
fósiles, nunca admite o considera la huella de carbono de la 1. 
Esta opacidad de la cadena de suministros más grande para la 
computación en general, y para la 1A en particular, es parte de 
un modelo de negocio establecido hace mucho tiempo que con- 
siste en extraer el valor de los bienes comunes y evitar la com- 
pensación por los daños duraderos. 

La mano de obra representa otra forma de extracción. En el 
capítulo 11, nos aventuramos más allá de los muy bien pagados 
ingenieros del aprendizaje automático para considerar otras for- 
mas de trabajo que resultan necesarias para que los sistemas 1A 
funcionen. Desde los mineros que extraen estaño en Indonesia 
a los trabajadores de crowdsourcing en la India que completan 
tareas en el Mechanical Turk de Amazon, a los trabajadores de 
las fábricas de iPhone de Foxconn en China, la fuerza laboral 
de la 1a es mucho mayor de lo que solemos imaginar. Incluso 
dentro de las compañías tecnológicas existe una gran fuerza 
laboral paralela de trabajadores parciales que supera significa- 
tivamente en número a los trabajadores de tiempo completo, 
pero tienen menos beneficios y ninguna seguridad laboral.!* 

En los nodos logísticos del sector de la tecnología encontra- 
mos humanos completando tareas cuando las máquinas no 
pueden hacerlo. Se necesitan miles de personas para mantener 
la ilusión de la automatización: etiquetando, corrigiendo, eva- 
luando y editando sistemas de 14 para que parezca que no tienen 


15 Daisuke Wakabayashi, “Google's Shadow Work Force: Temps Who 
Outnumber Full-Time Employees”, en The New York Times, 28 de mayo de 
2019, disponible en línea: <https://www.nytimes.com/2019/05/28/techno- 
logy/google-temp-workers.html>. 
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fisuras. Otros cargan paquetes, conducen para aplicaciones de 
transporte y entregan comida. Los sistemas de 1a los vigilan a 
todos mientras exprimen al máximo la funcionalidad de los cuer- 
pos humanos: las complejas articulaciones de los dedos, los ojos 
y las rodillas son más baratas y fáciles de adquirir que los robots. 
En esos espacios, el futuro del trabajo se parece más a las fábri- 
cas tayloristas del pasado, pero con pulseras que vibran cuando 
los trabajadores se equivocan y multas impuestas por tomarse 
demasiados descansos para ir al baño. 

Los usos de la 14 en el lugar de trabajo distorsionan las de- 
sigualdades de poder todavía más, al darle más control a los em- 
pleadores. Se usan aplicaciones para rastrear trabajadores, empu- 
jarlos a trabajar más horas y calificarlos en tiempo real. Amazon 
ofrece el ejemplo canónico de cómo una microfísica del poder 
(la disciplina de los cuerpos y sus movimientos a través del 
espacio) se conecta a una macrofísica del poder, una logística 
del tiempo y la información planetaria. Los sistemas de 1a explo- 
tan las diferencias de tiempo y salarios en los mercados para 
acelerar el circuito del capital. De repente, todo el mundo en los 
centros urbanos puede tener (y espera tener) entregas el mismo 
día. Y el sistema se acelera de nuevo, con las consecuencias 
materiales escondidas detrás de las cajas de cartón, los camiones 
de reparto y los botones de “compte ahora”. 

En la capa de los datos podemos ver una geografía de extrac- 
ción diferente. “Estamos construyendo un espejo del mundo real 
—dijo un ingeniero del Street View de Google en 2012-. Todo lo 
que puedas ver en el mundo real tiene que estar en nuestras 
bases de datos”! Desde entonces, la extracción del mundo real 
no ha hecho más que intensificarse hasta alcanzar espacios que 


16 Cit, en Joanne McNeil, “Two Eyes See More Than Nine”, en Kate Stein- 
mann (ed), Jon Rafman: Nine Eyes, Los Ángeles, New Documents, 2016, p. 23. 
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antes eran difíciles de capturar. Como vimos en el capítulo 111, 
ha habido un saqueo generalizado de los espacios públicos; se 
han capturado los rostros de las personas en las calles para 
entrenar sistemas de reconocimiento facial; se han engullido los 
feeds de las redes sociales para construir modelos de lenguaje 
predictivos; se han horadado los sitios donde ta gente guarda 
fotos personales o debate en línea para entrenar algoritmos de 
visión artificial y lenguaje natural. Esta práctica se ha vuelto tan 
común que pocos en el campo de la 14 se la cuestionan siquiera. 
Esto se debe, en parte, a que muchas carreras y valoraciones de 
mercado dependen de ella. La mentalidad de recolectarlo todo, 
alguna vez área exclusiva de las agencias de inteligencia, no 
solo se ha normalizado, sino también moralizado: se considera 
un desperdicio no recopilar datos donde sea posible.!” 

Una vez que se han extraído los datos y ordenado en conjun- 
tos de datos de entrenamiento, se convierten en la base epistémica 
sobre la cual los sistemas de 1 clasifican el mundo. Desde los 
conjuntos de datos de entrenamiento de referencia, como las 
colecciones de ImageNet, ms-Celeb o National Institute of Stan- 
dards and Technology ais", las imágenes se usan para represen- 
tar ideas que son mucho más relacionales y controvertidas de lo 
que sugieren sus etiquetas. En el capítulo 1v, vimos que las taxo- 
nomías de etiquetado asignan a las personas un binarismo de 
género forzado, las hacen pertenecer a grupos raciales ofensivos 
y simplistas, y las someten a análisis de personalidad, mérito y 
estado emocional muy normativos y estereotipados. Estas clasifi- 
caciones, inevitablemente cargadas de valores, fuerzan una manera 
de ver el mundo mientras alardean de neutralidad científica, 


17 Respecto a la idea de los datos como capital, véase Jathan Sadowski, 
“When Data Is Capital: Datafication, Accumulation, and Extraction’, en Big 
Data and Society, vol. 6, núm. 1, 2019, disponible en linea: <https://doi. 
org/10.1177/2053951718820549>. 
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Los conjuntos de datos en la 14 nunca son materias primas 
para alimentar algoritmos: son, constitutivamente, intervencio: 
nes políticas. Toda la práctica de recolectar datos, categorizar y 
etiquetarlos, para luego usarlos para entrenar sistemas, es una 
forma de política que ha traído un cambio a lo que se denomi- 
nan imágenes operacionales, representaciones del mundo hechas 
solo para las maquinas.'* Los sesgos son un síntoma de una 
aflicción más profunda: una lógica normativa centralizadora y 
de largo alcance que se usa para determinar la manera en que 
se tendría que mirar y evaluar el mundo. 

Un ejemplo central de lo anterior lo constituye la detección 
de emociones que se describió en el capítulo v, que se basa en 
ideas controversiales respecto a la relación de los rostros con las 
emociones y se las aplica con la lógica reduccionista de un detec- 
tor de mentiras. La ciencia sigue siendo muy disputada.!” Las 
instituciones siempre han clasificado a las personas en categorías 
identitarias, limitando la personalidad y reduciéndola para que 
quepa en cajas medidas con precisión. El aprendizaje automático 
permite que eso suceda a escala. De los pueblos montañosos de 
Papúa Nueva Guinea a los laboratorios militares en Maryland, 
se desarrollan técnicas para reducir el desorden de sentimientos, 
estados interiores, preferencias e identificaciones y limitarlo a algo 
cuantitativo, detectable y rastreable. 

¿Qué tipo de violencia epistemológica se necesita para que 
el mundo se vuelva legible por un sistema de aprendizaje auto- 
mático? La ta busca sistematizar lo que no puede ser sistemati- 


18 Harun Farocki, analizado en Trevor Paglen, “Operational Images”, en 
e-flux, noviembre de 2014, disponible en línea: <https://www.e-flux.com/ 
journal/59/61130/operational-images/>. 

19 Para un resumen de esto, véase Douglas Heaven, “Why Faces Don't 
Always Tell the Truth about Feelings”, en Nature, 26 de febrero de 2020, 
disponible en línea: <https://www.nature.com/articles/d41586-020-00507-5>. 
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zado, formalizar lo social y convertir un universo infinitamente 
complejo y cambiante en un orden linneano de tablas legibles 
por computadora. Muchos de los logros de la 1a han dependido 
de reducir las cosas a un conjunto sucinto de formalismos basa- 
dos en proxys: identificar y nombrar algunas características mien- 
tras se ignoran u oscurecen muchas otras. Para adaptar una frase 
de la filósofa Babette Babich, el aprendizaje automático explota 
lo que sabe para predecir lo que no sabe: un juego de aproxima- 
ciones repetidas. Los conjuntos de datos también son proxys: 
remplazantes de aquello que afirman poder medir. En pocas pala- 
bras, esto es transmutar la diferencia en una uniformidad com- 
putable. Este tipo de esquema del conocimiento recuerda lo que 
Friedrich Nietzsche describió como “la falsificación de lo múlti- 
ple e incalculable en lo idéntico, similar y calculable"? Los sis- 
temas de 1A se vuelven deterministas cuando estos proxys se 
toman como verdades fundamentales, cuando a una complejidad 
fluida se le aplican etiquetas fijas. Vimos esto en los casos en que 
se usa la 1a para predecir género, raza o sexualidad a partir de la 
fotografia de un rostro.?! Estos métodos se asemejan a la freno- 


20Friedrich Nietzsche, Sámiliche Werke, vol. 11, Berlín, de Gruyter, 1980, 
p. 506. 

21 Yilun Wang y Michal Kosinski, “Deep Neural Networks Are More Accu- 
rate than Humans at Detecting Sexual Orientation from Facial Images”, en 
Journal of Personality and Social Psychology, vol. 114, núm. 2, 2018, pp. 246- 
257, disponible en línea: <https://doi.org/10.1037/pspa0000098>; Jon Klein- 
berg et al, "Human Decisions and Machine Predictions’, en Quarterly Journal 
of Economics, vol. 133, núm. 1, 2018, pp. 237-293, disponible en linea: <https:// 
doi.org/10.1093/qje/qjx032>; Penny Crosman, “Is Al a Threat to Fair Len- 
ding?”, en American Banker, 7 de septiembre de 2017, disponible en linea: 
<https://www.americanbanker.com/news/is-artificial-intelligence-a-threat- 
to-fair-lending>, y Sungyong Seo et al, “Partially Generative Neural Networks 
for Gang Crime Classification with Partial Information”, en Proceedings of the 
2018 AAAI/ACM Conference on Al, Ethics, and Society, diciembre de 2018, 
pp. 257-263, disponible en línea: <https://doi.org/10.1145/3278721.3278758>. 
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logía y la fisonomía en su afán por esencializar e imponer iden- 
tidades basadas en identidades externas. 

El problema de la verdad fundamental para los sistemas de 
IA se acentúa en el contexto del poder estatal, como vimos en 
el capítulo vi. Las agencias de inteligencia abrieron el camino 
para la recolección en masa de datos en la que las firmas de 
metadatos son suficientes para desatar ataques letales de drones 
y en la que la ubicación de un celular se vuelve un proxy para 
un objetivo desconocido. Incluso aquí el lenguaje incruento de 
los metadatos y los ataques quirúrgicos se contradice directa- 
mente con las muertes involuntarias por los misiles de aviones 
no tripulados.22, Como Lucy Suchman ha preguntado, ¿de qué 
manera se identifican los “objetivos” como amenazas inminen- 
tes? Sabemos que “camioneta ISIS” es una categoría basada en 
datos etiquetados a mano, pero ¿quién eligió las categorías e 
identificó los vehículos??? Vimos las confusiones epistemológi- 
cas y los errores en los conjuntos de datos de entrenamiento 
para el reconocimiento de objetos de sistemas como ImageNet; 
los sistemas militares de 14 y los ataques con drones están cons- 
truidos sobre el mismo terreno inestable, 

Las profundas interconexiones entre el sector tecnológico 
y el militar están ahora enmarcadas dentro de una agenda fuer- 
temente nacionalista. La retórica acerca de la guerra de 1 entre 
Estados Unidos y China impulsa los intereses de las compañías 
de tecnología más grandes por operar con mayor apoyo estatal 


2 Joseph Pugliese, “Death by Metadata: The Bioinformationalisation of 
Life and the Transliteration of Algorithms to Flesh”, en Holly Randell-Moon 
y Ryan Tippet (eds.), Security, Race, Bio-power: Essays on Technology and 
Corporeality, Londres, Palgrave Macmillan, 2016, pp. 3-20. 

23 Lucy Suchman, “Algorithmic Warfare and the Reinvention of Accuracy’, 
en Critical Studies on Security, vol. 8, núm. 2, 2020, disponible en línea: 
<https://doi.org/10.1080/21624887.2020.1760587>. 
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y menores restricciones. Mientras tanto, el arsenal de vigilancia 
utilizado por agencias como la National Security Agency (Nsa) 
y la Central Intelligence Agency (cIa) ahora se despliega en el 
ámbito doméstico, a nivel municipal, en el espacio intermedio 
de contratación comercial-militar por parte de compañías como 
Palantir. Se persigue a los inmigrantes indocumentatos con sis- 
temas logísticos de información y captura que antes eran exclu- 
sivos del espionaje extralegal. Se emplean los sistemas de toma 
de decisiones respecto a los beneficios sociales para rastrear 
patrones de datos anómalos con el fin de interrumpir el acceso 
delas personas a estos beneficios y acusarlas de fraude. La misma 
tecnología de reconocimiento de matrículas se está utilizando 
en sistemas de vigilancia para el hogar, una extendida integra- 
ción de redes de vigilancia que antes se mantenían separadas.?* 

El resultado es la expansión rápida y profunda de la vigilan- 
cia y una confusión entre contratistas privados, cuerpos policiales 
y el sector tecnológico, alimentada por sobornos y acuerdos secre- 
tos. La vida cívica se ha rediseñado y los centros de poder se han 
fortalecido gracias a herramientas que ven con la lógica del capi- 
tal, la vigilancia y la militarización. 


HACIA MOVIMIENTOS CONECTADOS 
EN POS DE LA JUSTICIA 


Si actualmente la 14 sirve a las estructuras existentes de poder, 
una pregunta obvia podría ser: ¿no tendríamos que intentar 


24 Brandon Simmons, “Rekor Software Adds License Plate Reader Tech- 
nology to Home Surveillance, Causing Privacy Concerns", en WKYG 31 de 
enero de 2020, disponible en línea: <https://www.wkyc.com/article/tech/ 
rekor-software-adds-license-plate-reader-technology-to-home-surveillance- 
causing-privacy-concerns/95-7¢9834d9-5d54-408 1-b983-b2e6142a3213>. 
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democratizarla? ¿No podría existir una 1 para la gente, reorien- 
tada hacia la justicia y la igualdad en vez de hacia la extracción 
individual y la discriminación? Esto puede sonar atractivo, pero, 
como hemos visto a lo largo de este libro, las infraestructuras y 
las formas de poder que habilitan y son habilitadas por la la se 
inclinan fuertemente hacia la centralización del control. Sugerir 
que democraticemos la 1A para reducir las asimetrías de poder 
es un poco como querer democratizar la fabricación de armas 
en aras de la paz. Como nos recuerda Audre Lorde, las herra- 
mientas del maestro nunca desmantelarán la casa del maestro.25 
Es necesario llevar a cabo un ajuste de cuentas en el sector 
tecnológico. Hasta la fecha, una de las respuestas típicas de la 
industria ha sido firmar principios éticos de 1a. Como la parla- 
mentaria de la Unión Europea Marietje Schaake señaló, en 2019 
solo en Europa había 128 borradores de éticas para 14.26 A me- 
nudo se presentan estos documentos como productos de un 
“amplio consenso” sobre la ética de la 1a, pero son abrumado- 
ramente producidos por países económicamente desarrollados, 
con poca representación de África, América del Sur y Central o 
Asia Central. Las voces de las personas más dañadas por los 
sistemas de La están en gran parte ausentes de los procesos que 
los producen.?? Además, los principios y las declaraciones éticas 
no discuten cómo tienen que implementarse y rara vez se apli- 
can o disponen para rendir cuentas al público general. Como 


25 Audre Lorde, The Masters Tools Will Never Dismantle the Masters House, 
Londres, Penguin Classics, 2018. 

26 Marietje Schaake, “What Principles Not to Disrupt: On al and Regula- 
tion”, en Medium (blog), 5 de noviembre de 2019, disponible en línea: <https: 
//medium.com/@marietje.schaake/what-principles-not-to-disrupt-on-ai- 
and-regulation-cabbd92fd30e>. 

27 Anna Jobin, Marcelo lenca y Effy Vayena, “The Global Landscape of ar 
Ethics Guidelines”, en Nature Machine Intelligence, vol. 1, 2019, pp. 389-399, 
disponible en línea: <https://doi.org/10.1038/542256-019-0088-2>. 
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ha observado Shannon Mattern, la atención suele ponerse en 
los fines éticos de la 1a, sin evaluar los medios éticos para apli- 
carlos.28 A diferencia de la medicina o el derecho, la 14 no tiene 
una estructura o normas profesionales gubernamentales; no hay 
definiciones acordadas ni metas para el campo, o protocolos 
estándares para hacer cumplir las prácticas ética8.22 

Los marcos éticos autorregulados permiten a las compañías 
elegir cómo poner en práctica las tecnologías y, por extensión, 
decidir qué significa una 1a ética para el resto del mundo.% Las 
empresas tecnológicas rara vez reciben grandes sanciones eco- 
nómicas cuando sus sistemas de 1a violan la ley, y hay aún menos 
consecuencias cuando se violan sus principios éticos. Además, 
los accionistas presionan a las compañías públicas para maximi- 
zar el retorno de la inversión por encima de las preocupaciones 
éticas, por lo general haciendo que la ética misma sea secunda- 
ria a las ganancias. Como resultado, la ética es necesaria pero 
no suficiente para abordar las preocupaciones principales que 
plantea este libro. 

Para entender lo que está en juego tenemos que enfocarnos 
menos en la ética y aún más en el poder. La 1A está diseñada in- 
variablemente para amplificar y reproducir las formas de poder 


28Shannon Mattern, “Calculative Composition: The Ethics of Automating 
Design”, en Markus D. Dubber, Frank Pasquale y Sunit Das (eds), The Oxford 
Handbook of Ethics of ai, Oxford, Oxford University Press, 2020, p. 572-592. 

29 Para obtener más información sobre la eficacia limitada de los marcos 
de ética en la 1a, véase Kate Crawford et al, ar Now 2019 Report, en al Now 
Institute, diciembre de 2019, disponible en línea: <https://ainowinstitute. 
org/AI_Now_2019 Report.html>. 

30 Brent Mittelstadt, “Principles Alone Cannot Guarantee Ethical Ar”, en 
Nature Machine Intelligence, vol. 1, núm. 11, 2019, pp. 501-507, disponible 
en línea: <https://doi.org/10.1038/s42256-019-01 14-4>. Véase también Jacob 
Metcalf, Emanuel Moss y danah boyd, “Owning Ethics: Corporate Logics, 
Silicon Valley, and the Institutionalization of Ethics’, en International Quar- 
terly, vol. 82, núm. 2, 2019, pp. 449-476. 
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pata cuya optimización ha sido implementada. Contrarrestar eso 
requiere centralizar los intereses de las comunidades más afec- 
tadas.! En lugar de glorificar a los fundadores de empresas, a 
los inversionistas de riesgo y a los visionarios técnicos debería- 
mos empezar con las experiencias que han vivido los desampa- 
rados que han sido discriminados y afectados por los sistemas 
de 1a. Cuando alguien dice “ética de la 1a” deberíamos evaluar 
las condiciones de trabajo de los mineros, los contratistas y los 
trabajadores de crowdsourcing. Cuando escuchamos “optimiza- 
ción”, deberíamos preguntar si se trata de herramientas usadas 
en el trato inhumano de los inmigrantes. Cuando se aplaude la 
“automatización a gran escala”, deberíamos recordar la huella 
de carbono resultante, en un momento en que el planeta ya está 
bajo una gran presión. ¿Qué significaria:trabajar en pos de la 
justicia en todos estos sistemas? 

En 1986, el teórico político Langdon Winner describió una 
sociedad “comprometida con crear realidades artificiales” sin 
preocuparse por los daños que esto pudiera traerles a las condi- 
ciones de vida: 


Vastas transformaciones a la estructura de nuestro mundo co- 
mún se han llevado a cabo prestándole poca atención a lo que 
significan esas alteraciones. |...] En el ámbito técnico entramos 
repetidamente en una serie de contratos sociales cuyos términos 
se nos revelan solo después de haberlos firmado.22 


31 Una investigación reciente que aborda importantes pasos prácticos 
para hacer esto sin replicar formas extractivas dañinas puede verse en Sasha 
Costanza-Chock, Design Justice. Community-Led Practices to Build the Worlds 
We Need, Cambridge, MIT Press, 2020. 

32 Langdon Winner, The Whale and the Reactor. A Search for Limits in an 
Age of High Technology, Chicago, University of Chicago Press, 2001, p. 9 [trad: 
esp.: La ballena y el reactor. Una búsqueda de los limites en la era de la alta 
tecnología, Barcelona, Gedisa, 2018]. 
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En las cuatro décadas que han pasado desde entonces, esas 
transformaciones han ocurrido a una escala que ha alterado la 
composición química de la atmósfera, la temperatura de la super- 
ficie de la Tierra y los contenidos de la corteza del planeta. La 
brecha entre la manera en que se juzga la tecnología cuando se 
lanza y sus duraderas consecuencias solo se hatensanchado. El 
contrato social, en la medida en que alguna vez hubo uno, ha 
traído consigo una crisis climática, una desigualdad desorbitada 
de la riqueza, discriminación racial y una vigilancia y explotación 
laboral generalizadas. Pero parte del problema es esta idea de 
que las transformaciones ocurrieron sin que se supieran sus 
posibles resultados. El filósofo Achille Mbembe critica con dureza 
la idea de que éramos incapaces de predecir lo que pasaría con 
los sistemas de conocimiento del siglo xx1, ya que siempre fue- 
ron “operaciones de abstracción que pretenden racionalizar el 
mundo sobre la base de la lógica corporativa”? Escribe: 


Se trata de extracción, captura, el culto a los datos, la mercan- 
tilización de la capacidad humana de pensamiento y el rechazo 
al razonamiento crítico en favor de la programación. [...] Lo 
que necesitamos, ahora más que nunca, es una nueva crítica 
de la tecnología, de la experiencia de la vida técnica.* 


La nueva era de la crítica también necesitará encontrar espacios 
que vayan más allá de la vida técnica y derroquen el dogma de 


33 Achille Mbembe, Critique of Black Reason, Durham, Duke University 
Press, 2017, p. 3 [trad. esp.: Crítica de la razón Negra. Ensayo sobre el racismo 
contemporáneo, Barcelona, Futuro Anterior y Nuevos Emprendimientos Edi- 
toriales, 2016]. 

34 Sindre Bangstad et al, "Thoughts on the Planetary: An Interview with 
Achille Mbembe”, en New Frame, 5 de septiembre de 2019, disponible en 
línea: <https://www.newframe.com/thoughts-on-the-planetary-an-inter- 
view-with-achille-mbembe/>. 
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la inevitabilidad. Cuando la rápida expansión de la 1A se ve como 
imparable, solo es posible improvisar restricciones legales y téc- 
nicas a los sistemas después del hecho: limpiar conjuntos de 
datos, fortalecer leyes de privacidad o crear comités de ética. Pero 
estas siempre serán respuestas parciales e incompletas en las que 
se asume la tecnología y todo lo demás tiene que adaptarse a 
ella, Pero ¿qué ocurre si revertimos esta polaridad y comenzamos 
con el compromiso por un mundo más justo y sustentable? 
¿Cómo podemos intervenir para abordar los problemas interde- 
pendientes de las injusticias sociales, económicas y climáticas? 
¿Dónde sirve la tecnología a esa visión? ¿Existen lugares en los 
que no se deba usar la 1a, donde esta socava la justicia? 

Esta es la base para una política renovada del rechazo: opo- 
nerse a los relatos de la inevitabilidad tecnológica que dicen “si 
se puede hacer, se hará”. En lugar de preguntarse dónde se apli- 
cará la 1a, simplemente porque puede aplicarse, el énfasis debe- 
ría estar puesto en por qué tendría que aplicarse. Al preguntar 
“¿por qué usar inteligencia artificial”, podemos cuestionar la idea 
de que todo tendría que estar sujeto a la lógica de la predicción 
estadística y la acumulación de ganancias, lo que Donna Haraway 
ha denominado la “informática de la dominación”.5 Vemos des- 
tellos de este rechazo cuando la población elige desmantelar la 
vigilancia predictiva, prohibir el reconocimiento facial o protes- 
tar contra la puntuación algorítmica. Hasta ahora, estas pequeñas 
victorias han sido fragmentadas y localizadas, por lo general 
centradas en ciudades con mayores recursos para organizarse, 
como Londres, San Francisco, Hong Kong y Portland, Oregon. 
Pero apuntan a la necesidad de movimientos nacionales e inter- 


35 Donna J. Haraway, Simians, Cyborgs, and Women. The Reinvention of 
Nature, Nueva York, Routledge, 1990, p. 161 [trad. esp.: Ciencia, cyborgs y 
mujeres. La reinvención de la naturaleza, Madrid, Cátedra, 1995]. 
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nacionales más amplios que rechacen los métodos que antepo- 
nen a la tecnología y prefieran centrarse en abordar las desigual- 
dades e injusticias subyacentes. El rechazo requiere refutar la 
idea de que las mismas herramientas que sirven al capital, a los 
ejércitos y la policía también están calificadas para transformar 
escuelas, hospitales, ciudades y ecosistemas, como si fueran cal- 
culadoras de valor neutral que pueden aplicarse en todas partes. 

Los llamamientos por una justicia laboral, climática y de datos 
son más efectivos cuando se hacen unidos. Sobre todo, veo una 
mayor esperanza en los crecientes movimientos de justicia que 
abordan la interrelación entre el capitalismo, la computación y el 
control: uniendo los problemas de la justicia climática, los derechos 
laborales, la justicia racial, la protección de datos y la extralimita- 
ción del poder policial y militar. Al rechazar los sistemas que ali- 
mentan la desigualdad y la violencia, desafiamos las estructuras 
de poder que actualmente la 1a refuerza y creamos las bases para 
una sociedad diferente.3 Como observa Ruha Benjamin: “Derrick 
Bell lo dijo de esta manera: “Para ver las cosas como realmente 
son tienes que imaginarte lo que podrían ser. Creamos patrones 
y tenemos que cambiar el contenido de los que tenemos ahora”.?7 
Para conseguir esto, vamos a necesitar sacudirnos de encima el 
encantamiento del solucionismo tecnológico y abrazar, en cambio, 
solidaridades alternativas, lo que Mbembe llama “una política 
diferente de habitar la Tierra, de reparar y compartir el planeta”.38 
Hay políticas colectivas sostenibles que van más allá de la extrac- 


36 Shakir Mohamed, Marie-Therese Png y William Isaac, “Decolonial ar: 
Decolonial Theory as Sociotechnical Foresight in Artificial Intelligence”, en 
Philosophy and Technology, 2020, p. 405, disponible en línea: <https://doi. 
org/10.1007/s13347-020-00405-8>. 

37 “Race after Technology, Ruha Benjamin", en Meeting Minutes, Old Guard 
of Princeton (NJ), 14 de noviembre de 2018, disponible en línea: <https:// 
www.theoldguardofprinceton.org/11-14-2018.html>. 

38 Sindre Bangstad et al, op. cit. 
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ción de valores, hay bienes comunes que vale la pena conservar, Coda. El espacio 
mundos que van más allá del mercado y maneras de vivir que 
van más allá de la discriminación y de los modos brutales de 


optimización. Nuestra tarea es trazar un curso que nos lleve alli, 


EMPIEZA la cuenta regresiva. Las cámaras empiezan a grabar. 
Los motores en la base del imponente Saturno V se encienden 
y el cohete empieza a elevarse. Escuchamos la voz de Jeff Bezos: 
“Desde que tenía cinco años (eso fue cuando Neil Armstrong 
pisó la superficie lunar), he sido un apasionado del espacio, los 
cohetes, sus motores, los viajes espaciales”. Se sucede un desfile 
de imágenes inspiracionales: escaladores en la cumbre de mon- 
tañas, exploradores adentrándose en cañones, un buzo nadando 
a través de un banco de peces. 

Corte a Bezos en una sala de control durante un lanzamiento, 
ajustando sus auriculares. Su voz en off continúa: 


Este es el trabajo más importante que he hecho. El argumento 
es sencillo: este es el mejor planeta. Y, por lo tanto, nos enfren- 
tamos a una decisión. A medida que avanzamos hacia adelante, 
tendremos que decidir si queremos una civilización en estado 
de estasis (tendremos que limitar la población, tendremos que 
limitar el uso de energía per cápita) o podemos arreglar el pro- 
blema mudándonos al espacio.! 


1“Blue Origin's Mission”, video, 1° de febrero de 2019, disponible en línea: 
<https://www.youtube.com/watch?v=1YOL89kY80g>. 
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La banda sonora ruge e imágenes del espacio profundo se con- 
traponen con tomas de las concurridas carreteras de Los Ánge- 
les y los congestionados cruces trébol. “Después del alunizaje, 
Von Braun dijo: “He aprendido a tener cuidado antes de usar la 
palabra imposible” Y espero que ustedes tengan la misma actitud 
con sus vidas”? 

Esta escena proviene de un video promocional para la 
empresa privada aeroespacial de Bezos, Blue Origin. El lema de 
la empresa es Gradatim ferociter, que en latín significa “Paso a 
paso, ferozmente”. A corto plazo, Blue Origin está construyendo 
cohetes reutilizables y módulos lunares de aterrizaje, poniéndo- 
los a prueba principalmente en sus instalaciones y base suborbi- 
tal en West Texas. Para 2024 la empresa quiere estar transportando 
astronautas y cargamento a la Luna. Pero, a largo plazo, la misión 
de la empresa es mucho más ambiciosa: ayudar a hacer real un 
futuro en el que millones de personas vivan y trabajen en el es- 
pacio. Específicamente, Bezos ha delineado sus esperanzas de 
construir colonias espaciales gigantes en las que la gente pueda 
vivir en entornos flotantes manufacturados.‘ La industria pesada 
abandonaría por completo el planeta hacia una nueva frontera 
de extracción. Mientras tanto, la Tierra se dividiría en áreas resi- 
denciales y de industria ligera; se la dejaría como un “lugar her- 
moso para vivir, un lugar hermoso para visitar”, presumiblemente 
por aquellos que puedan pagar por estar en ella en lugar de 
trabajar en las colonias extraterrestres. 


2 “Blue Origin's Mission”, op. cit. 

3 Corey S, Powell, “Jeff Bezos Foresees a Trillion People Living in Millions 
of Space Colonies”, en ngc News, 15 de mayo de 2019, disponible en línea: 
<https://www.nbcnews.com/mach/science/jeff-bezos-foresees-trillion- 
people-living-millions-space-colonies-here-ncna1006036>. 

‘Jeff Bezos, “Going to Space to Benefit Earth”, video, 9 de mayo de 2019, 
disponible en línea: <https://www.youtube.com/watch?v=GQ98hGUe6FM&>. 

5 Ibid. 
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Bezos posee un poder industrial extraordinario y creciente. 
Amazon continúa capturando más tajadas del comercio en línea 
de Estados Unidos, Amazon Web Services representa casi la mi- 
tad de la industria de la computación en la nube, y, según algu- 
nos estimados, el sitio de Amazon tiene más búsquedas de pro- 
ductos que Google.* A pesar de todo esto, Bezos eStá preocupado. 
Su temor es que la creciente demanda de energía del planeta 
pronto superará la limitada oferta. Para él, la principal preocu- 
pación “no es necesariamente la extinción” sino la estasis: “Ten- 
dremos que dejar de crecer, lo que me parece un futuro muy poco 
auspicioso”.” 

Bezos no está solo. Es tan solo uno de los muchos multimi- 
llonarios de la tecnologia enfocados en el espacio. Planetary 
Resources, dirigida por el fundador de X Prize, Peter Diamandis, 
y respaldada por la inversión de Larry Page y Eric Schmidt de 
Google, está destinada a crear la primera mina comercial en el 
espacio mediante la perforación de asteroides. Elon Musk, direc- 
tor ejecutivo de Tesla y SpaceX, anunció su intención de colo- 
nizar Marte en los siguientes cien años; admitiendo que, para 
conseguirlo, los primeros astronautas deben “estar preparados 
para morir”8 Musk también ha abogado por la terraformación 
de la superficie de Marte para el asentamiento humano mediante 
la explosión de armas nucleares en ambos polos.? SpaceX hizo 


6 Franklin Foer, “Jeff Bezos's Master Plan”, en The Atlantic, noviembre de 
2019, disponible en línea: <https://www.theatlantic.com/magazine/archive/ 
2019/11/what-jeff-bezos-wants/598363/>. 

7 Ibid, 

8 Chris Welch, “Elon Musk: First Humans Who Journey to Mars Must ‘Be 
Prepared to Die”, en The Verge, 27 de septiembre de 2016, disponible en 
línea: <https://www.theverge.com/2016/9/27/13080836/elon-musk-spacex- 
mars-mission-death-risk>. 

2 anthony Cuthbertson, “Elon Musk Really Wants to ‘Nuke Mars”, en The 
Independent, 19 de agosto de 2019, disponible en linea: <https://www.inde- 
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una camiseta con el lema “Atomicemos Marte”. Musk también 
llevó a cabo lo que podría decirse que es el ejercicio de relacio- 
nes públicas más caro de la historia, cuando en un cohete Falcon 
Heavy de SpaceX lanzó un automóvil Tesla a una órbita helio- 
céntrica. Los expertos estiman que el automóvil permanecerá en 
el espacio millones de años, hasta que finalmente se estrellara 
contra la Tierra.!° 

La ideología de estos espectáculos espaciales está profun- 
damente interconectada con la de la industria de la inteligen- 
cia artificial (1a). La riqueza y el poder extremos generados por 
las compañías tecnológicas permiten ahora que un pequeño 
grupo de hombres persiga su propia carrera espacial privada. 
Dependen de la explotación del conocimiento y las infraestruc- 
turas de los programas espaciales públicos del siglo xx y, a me- 
nudo, también confían en financiamientos e incentivos fiscales 
del gobierno. Su objetivo no es limitar la extracción y el creci- 
miento, sino extenderlo a todo el sistema solar. En realidad, estos 
esfuerzos tienen que ver tanto con un imaginario del espacio, 
un crecimiento ilimitado y con la inmortalidad como con las 
inciertas y desagradables posibilidades de una verdadera colo- 
nización espacial. : . 

La inspiración de Bezos para conquistar el espacio viene, en 
parte, del físico y novelista de ciencia ficción Gerard K. O'Neill, 


pendent.co.uk/life-style/gadgets-and-tech/news/elon-musk-mars-nuke- 
spacex-t-shirt-nuclear-weapons-space-a9069141.html>. 

10 Hanno Rein, Daniel Tamayo y David Vokrouhlicky, “The Random Walk 
of Cars and Their Collision Probabilities with Planets”, en Aerospace, vol. 5, 
núm. 2, 2018, p. 57, disponible en línea: <https://doi.org/10.3390/aeros- 
pace5020057>. 

1 Dominic Gates, “Bezos's Blue Origin Seeks Tax Incentives to Build 
Rocket Engines Here”, en The Seattle Times, 14 de enero de 2016, disponible 
en línea: <https://www.seattletimes.com/business/boeing-aerospace/bezoss- 
blue-origin-seeks-tax-incentives-to-build-rocket-engines-here/>. 
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quien escribió Ciudades del espacio, una fantasía sobre la colo- 
nización espacial publicada en 1976, que incluía exuberantes 
ilustraciones de minería lunar con una abundancia rockwellia- 
nai? El plan de Bezos para Blue Origin está inspirado por esta 
visión bucólica de un asentamiento humano permanente, para 
el que no existe la tecnología necesaria. A O'Ntill lo movieron 
la “consternación y la conmoción” que sintió cuando leyó el 
histórico informe del Club de Roma, titulado Los límites del 
crecimiento El informe publicaba una gran cantidad de datos 
y modelos predictivos acerca del fin de los recursos no renova- 
bles y su impacto sobre el crecimiento de la población, la sos- 
tenibilidad y el futuro de la humanidad en la Tierra.!* El experto 
en arquitectura y planificación Fred Scharmen lo resume del 
siguiente modo: 


Los modelos del Club de Roma calculan resultados a partir de 
distintos conjuntos de conjeturas iniciales. Los escenarios de re- 
ferencia, extrapolados de lo que entonces eran las tendencias 
actuales, muestran el colapso de los recursos y la población an- 
tes del año 2100. Cuando los modelos asumen el doble de las 
reservas conocidas de recursos, también colapsan, a un nivel 
ligeramente más alto pero todavía antes de 2100. Cuando asu- 
men que la tecnología conseguirá que haya recursos “ilimita- 
dos”, la población colapsa aún más drásticamente que antes 


12 Paris Marx, “Instead of Throwing Money at the Moon, Jeff Bezos Should 
Try Helping Earth", en ngc News, 15 de mayo de 2019, disponible en línea: 
<https://www.nbcnews.com/think/opinion/jeff-bezos-blue-origin-space- 
colony-dreams-ignore-plight-millions-ncna1006026>. 

13 Monte Davis, “Gerard K. O'Neill on Space Colonies’, en Omni Magazine, 
12 de octubre de 2017, disponible en linea: <https://omnimagazine.com/ 
interview-gerard-k-oneill-space-colonies/>. 

14 Donella H. Meadows, et al, The Limits to Growth, Nueva York, Signet, 
1972. 
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debido a los picos de contaminación. Al agregar controles de 
contaminación al modelo, la población colapsa cuando se acaba 
la comida. En modelos que aumentan la capacidad agrícola, la 
contaminación sobrepasa los controles anteriores y colapsan 
tanto la comida como la población.*5 


Los límites del crecimiento sugerían que la respuesta para con- 
seguir una estabilidad de la sociedad global a largo plazo era 
pasar a una gestión sostenible y reusar los recursos, y que la 
clave para la sobrevivencia estaba en reducir la brecha entre las 
naciones ricas y las pobres. Donde se quedó corto fue en que 
no previó el gran conjunto de sistemas interconectados que con- 
forman ahora la economía global y que formas de la minería 
que antes eran poco rentables serían incentivadas, lo que gene- 
raría mayores daños ambientales, la degradación de la tierra y 
del agua y un agotamiento acelerado de los recursos. 

Al escribir Ciudades del espacio, O'Neill quería imaginar una 
posibilidad distinta para escapar del modelo de crecimiento cero 
que no pasara por limitar la producción y el consumo.!* Al plan- 
tear que el espacio era una solución, O'Neill redireccionó la 
ansiedad global de los años setenta por la escasez de gasolina y 


15 Fred Scharmen, Space Settlements, Nueva York, Columbia University 
Press, 2019. En los últimos años, muchos estudiosos han sugerido que los 
modelos del Club de Roma eran demasiado optimistas y subestimaban la 
rápida tasa de extracción y consumo de recursos en todo el mundo, así 
como las implicaciones climáticas de los gases de efecto invernadero y el 
calor residual industrial. Véase Graham Turner, “Is Global Collapse Immi- 
nent? An Updated Comparison of The Limits to Growth with Historical Data”, 
trabajo de investigación núm. 4, Melbourne Sustainable Society Institute, 
University of Melbourne, agosto de 2014. 

16 El caso de un modelo de crecimiento cero que implique quedarse en 
el planeta ha sido planteado por muchos académicos del movimiento de los 
límites del crecimiento. Véase, por ejemplo, Ted Trainer, Renewable Energy 
Cannot Sustain a Consumer Society, Dordrecht, Springer, 2007. 
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las crisis del petróleo con visiones de estructuras espaciales esta- 
bles que, a la vez que mantenían el statu quo, ofrecían nuevas 
oportunidades. “Si la Tierra no tiene suficiente superficie —ins- 
taba O’Neill—, entonces los humanos simplemente deberían 
construir más”? La ciencia para hacerlo funcionar y la economía 
para costearlo eran detalles en los que ya se pedría pensar en 
otra ocasión; lo único que importaba era el sueño.18 

Que la colonización espacial y la minería de los confines se 
hayan convertido en las fantasías corporativas cotidianas de los 
multimillonarios de la tecnología subraya una relación funda- 
mentalmente problemática con la Tierra. Su visión del futuro 
no incluye minimizar la exploración buscando petróleo y gas o 
contener el consumo de recursos, o incluso reducir las prácticas 
laborales explotadoras que los han enriquecido. En cambio, el 
lenguaje de la élite tecnológica a menudo se hace eco del colo- 
nialismo de asentamiento y busca desplazar a la población de la 
Tierra y capturar territorios para la extracción mineral. La carrera 


17 Fred Scharmen, Space Settlements, op. cit, 2019, p. 91. 

18Uno se pregunta cuán distinta habría resultado ser la misión de Bezos 
si hubiera sido inspirado por el autor de ciencia ficción Philip K. Dick, quien 
escribió en 1955 el cuento “Autofac”. En él, los humanos que sobrevivieron 
a una guerra apocalíptica permanecen en la Tierra junto a los “autofacs”, 
máquinas de fábrica autónomas que se autorreplican. Los autofacs tenían 
la tarea de producir bienes de consumo en la sociedad de preguerra, pero 
como no son capaces de detenerse, consumieron los recursos del planeta y 
empiezan a amenazar incluso la supervivencia de las últimas personas que 
quedan. La única forma de sobrevivir es engañando a las máquinas de inte- 
ligencia artificial para que luchen entre sí por un elemento crítico que nece- 
sitan para sus procesos de manufactura: el tungsteno, un elemento de tierras 
raras. El plan parece tener éxito y las vides silvestres comienzan a crecer en 
todas las fábricas, y los agricultores pueden regresar a sus cultivos. Solo más 
tarde se dan cuenta de que los autofacs habían buscado más recursos en 
las profundidades del núcleo de la Tierra y pronto lanzarían miles de “semi- 
llas” autorreplicantes para la extracción a lo largo de la galaxia. Philip K. 
Dick, “Autofac”, en Galaxy Magazine, noviembre de 1955, disponible en 
línea: <http://archive.org/details/galaxymagazine-1955-11>. 
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espacial de los multimillonarios de Silicon Valley asume de igual 
forma que los últimos bienes públicos (el espacio exterior) pue- 
den ser reclamados por el imperio que llegue allí primero. Esto a 
pesar de la principal convención que rige la minería espacial, el 
Tratado del Espacio Ultraterrestre de 1967, que reconoce que 
el espacio es de “interés común de toda la humanidad” y que 
cualquier exploración o uso suyo “debe realizarse en beneficio 
de todos los pueblos”. 

En 2015, Blue Origin de Bezos y SpaceX de Musk presiona- 
ron al Congreso y a la administración de Obama pata que pro- 
mulgaran la ley de Competitividad Comercial de los Lanzamien- 
tos Espaciales,?0 que extiende una exención de las regulaciones 
federales a las empresas comerciales espaciales hasta el año 2023 
y les permite poseer cualquier recurso minero extraído de los 
asteroides y quedarse con las ganancias.?! Esta legislación socava 
directamente la idea del espacio como un bien público y crea 
el incentivo comercial de “vayan y conquisten”.22 

El espacio se ha vuelto la principal ambición imperial, sim- 
bolizando un escape de los límites de la Tierra, los cuerpos y la 
regulación. Quizá no resulte sorprendente que muchos miem- 
bros de la élite tecnológica de Silicon Valley estén tan compro- 
metidos con la idea de abandonar el planeta. La colonización 


19 NASA, “Outer Space Treaty of 1967”, en NASA History, 1967, disponible 
en línea: <https://history.nasa.gov/1967treaty.html>. 

20 ys Commercial Space Launch Competitiveness, acta núm. 114-190 
(2015), disponible en línea: <https://www.congress.gov/1 14/plaws/publ90/ 
PLAW-114publ90.pdf>. 

21 Megan R. Wilson, “Top Lobbying Victories of 2015”, en The Hill, 16 de 
diciembre de 2015, disponible en línea: <https://thehill.com/business-a- 
lobbying/business-a-lobbying/263354-lobbying-victories-of-2015>. 

22 Matthew Shaer, “The Asteroid Miner's Guide to the Galaxy”, en Foreign 
Policy (blog), 28 de abril de 2016, disponible en línea: <https://foreignpolicy. 
com/2016/04/28/the-asteroid-miners-guide-to-the-galaxy-space-race- 
mining-asteroids-planetary-research-deep-space-industries/>. 
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del espacio encaja bien con otras fantasias, como las dietas para 
alargar la vida, las transfusiones de sangre adolescente, los cere- 
bros subidos a la nube y las vitaminas para la inmortalidad.23 
La ostentosa publicidad de Blue Origin es parte de este oscuro 
utopismo. Es una convocatoria susurrada para volverse el Úber- 
mensch, para superar todos los límites: biológicos, Sociales, éticos 
y ecológicos. Pero, en el fondo, estas visiones de hermosos mun- 
dos nuevos parecen impulsadas sobre todo por el miedo: miedo 
a la muerte (individual y colectiva) y miedo a que el tiempo 
realmente se nos esté acabando. 


Estoy de vuelta en la camioneta para el último tramo de mi 
viaje. Manejo hacia el sur desde Alburquerque, Nuevo México, 
en dirección a la frontera con México. En el camino tomo un 
desvío al pasar la pared rocosa de la sierra de San Agustín y 
sigo el empinado camino hacia el campo de misiles White Sands, 
donde en 1946 Estados Unidos lanzó al espacio el primer cohete 
con una cámara fotográfica. Dirigió esta misión Wernher von 
Braun, que había sido el director técnico del programa de mi- 
siles balísticos de Alemania. Después de la guerra, desertó a 
Estados Unidos, donde empezó a experimentar con cohetes 
V-2 confiscados... los mismos misiles que había ayudado a 
diseñar y habían sido disparados contra los Aliados a lo largo de 
Europa. Pero esta vez los lanzó hacia el espacio. El cohete as- 
cendió a una altitud de 100 kilómetros, capturando imágenes 
cada 1,5 segundos antes de estrellarse contra el desierto de Nuevo 
México. La película sobrevivió dentro de un estuche de acero 


23 Como escribe Mark Andrejevic, “la promesa de la inmortalidad tecno- 
lógica es inseparable de la automatización, que ofrece suplantar las limita- 
ciones humanas en todo momento”. Mark Andrejevic, Automated Media, 
Nueva York, Routledge, 2020, p. 1. 
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Vista de la Tierra tomada por una cámara en el V-2 núm. 13, 
lanzado el 24 de octubre de 1946. Cortesía del Laboratorio 
de física aplicada y del Campo de misiles White Sands. 


y reveló una curvatura granulada pero perceptiblemente pare- 
cida a la Tierra.24 ; Ñ 

Resulta notable que Bezos eligiera citar a Von Braun en su 
comercial para Blue Origin. Von Braun fue el ingeniero en jefe 
de los misiles del Tercer Reich y admitió usar mano de obra 
esclava de los campos de concentración para construir sus cohe- 
tes V-2; hay quienes lo consideran un criminal de guerra.?5 Murie- 


24 Tony Reichhardt, “First Photo from Space”, en Air and Space Magazine, 
24 de octubre de 2006, disponible en linea: <https://www.airspacemag.com/ 
space/the-first-photo-from-space-13721411/>. 

25 Véase, por ejemplo, el recuento del periodista Wayne Biddle, por el 
que ganó el premio Pulitzer, sobre Von Braun como un criminal de guerra que 
participó en el tratamiento brutal de los trabajadores esclavos bajo el régimen 


CODA 357 


ron más personas construyendo los cohetes en los campos de 
concentración de las que ellos mataron en la guerra.?6 Pero el 
trabajo de Von Braun más conocido es como director del Centro 
de Vuelo Espacial Marshall, donde fue clave en el diseño del 
cohete Saturno V.” Bañado por el resplandor del Apolo 11, que 
limpió su historia, Bezos ha encontrado a su hétoe: un hombre 
que se negó a creer en que algo era imposible. 

Después de manejar a través de El Paso, Texas, tomo la ruta 
62 hacia las dunas Salt Basin. Es la última hora de la tarde y los 
colores comienzan a brillar en los cúmulos. Hay una bifurcación 
y, al doblar a la derecha, la carretera sigue a lo largo de Sierra 
Diablos. Este es el territorio de Bezos. El primer indicio es una 
gran casa de campo apartada de la carreta, con un letrero con 
letras rojas que dice “Figura 2” sobre una verja blanca. Es el 
rancho que Bezos compró en 2004, una parte de las 120.000 
hectáreas que posee en la zona.? El terreno tiene una historia 
colonial violenta: una de las últimas batallas entre los Rangers 
de Texas y los Apaches tuvo lugar justo al oeste de este sitio, en 
1881, y nueve años después, el rancho fue creado por el otrora 
jinete y ganadero confederado James Monroe Daugherty.? 

Muy cerca está la desviación hacia la instalación de lanza- 
mientos suborbitales Blue Origin. La carretera privada está blo- 


nazi. Wayne Biddle, Dark Side of the Moon. Wernher von Braun, the Third 
Reich, and the Space Race, Nueva York, W. W. Norton, 2012. 

26 Paul Grigorieff, “The Mittelwerk/Mittelbau/Camp Dora", en V2rocket.com, 
disponible en línea: <http://www.v2rocket.com/start/chapters/mittel.html>. 

27 Bob Ward, Dr. Space. The Life of Wernher von Braun, Annapolis, Naval 
Institute Press, 2009. 

28 Nancy Keates, “The Many Places Amazon CEO Jeff Bezos Calls Home”, 
en The Wall Street Journal, 9 de enero de 2019, disponible en línea: <https:// 
www.wsj.com/articles/the-many-places-amazon-ceo-jeff-bezos-calls- 
home-1507204462>. 

29 Center for Land Use Interpretation, “Figure 2 Ranch, Texas”, disponible 
en línea: <http://www.clui.org/ludb/site/figure-2-ranch>. 
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Instalación de lanzamientos suborbitales Blue Origin, West Texas. 
Fotografía de Kate Crawford. 


queada por una puerta azul brillante con letreros de seguridad 
advirtiendo que hay videovigilancia y una estación de monito- 
reo repleta de cámaras. Me quedo enla carretera y unos minu- 
tos más tarde estaciono la van a un lado del camino. Desde aquí, 
la vista se extiende a lo largo del valle hasta el lugar de aterrizaje 
de Blue Origin, donde se están probando cohetes para lo que se 
espera sea la primera misión al espacio de la empresa. A medida 
que los empleados van terminando sus jornadas de trabajo, los 
autos cruzan las barreras. 

Mirando hacia atrás, a los grupos de hangares que delimitan 
la base del cohete, se siente todo provisional e improvisado en 
esta extensión seca de la Cuenca Pérmica. Rompe la vasta exten- 
sión del valle un círculo hueco, la pista de aterrizaje en la que 
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los cohetes reutilizables de Blue Origin descienden a tierra sobre 
el logo de una pluma pintado en el centro. Eso es todo lo que se 
puede ver. Es una infraestructura privada en progreso, vigilada 
y cerrada, un imaginario tecnocientífico de poder, extracción y 
escape impulsado por el hombre más rico del planeta. Es una sal- 
vaguardia contra la Tierra. a 

La luz se está disipando y unas nubes grises del color del acero 
cruzan el cielo. El desierto aparece plateado, salpicado de arbustos 
de salvia blanca y racimos de toba volcánica marcando lo que 
alguna vez fue un fondo marino. Después de sacar una fotografia, 
regreso a la camioneta para manejar el último tramo del día hacia 
la ciudad de Marfa. No es hasta que empiezo a alejarme que me 
doy cuenta de que me están siguiendo. Dos camionetas Chevro- 
let negras idénticas conducen, agresivas, muy pegadas a mí. Me 
detengo para esperar a que me pasen. También se detienen. Nadie 
se mueve. Después de esperar unos minutos, comienzo a manejar 
muy lentamente. La siniestra escolta me acompaña todo el camino 
hasta llegar al borde del valle ya oscurecido. 
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Den Aardkloot van water omtbloot,un twee zyden aante Ben 


El mundo sin agua (Den Aardkloot van water ontbloot), 
mapa confeccionado por Thomas Burnet, en 1694, del mundo 
cuyos océanos han sido drenados. 
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